機械学習のライフサイクルを管理するOSS MLFlowをローカルで試してみた
こんばんは。今日は機械学習のライフサイクル管理に利用されるOSSライブラリ MLFlowの概要を調べつつ、一部機能を試してみたので、メモを残しておこうと思います。 それではまいります。 ML Flowとは？ MLflow...
機械学習機械学習
機械学習機械学習機械学習の技術的負債について学んでみた【機械学習 論文100本ノック（2/100）】
こんにちは。機械学習論文100本ノック2本目です。 早速まいります。 論文100本ノックの目的と進め方 目的 この分野の研究の関心の動向を掴みたい。 普段使っている技術の登場背景や詳細の理解を深めたい。 進め方 最低限A...
機械学習機械学習モデルの公平性について学んでみた【機械学習 論文100本ノック（1/100）】
こんにちは。今日から、今年ずっとやろうやろうと思っていた機械学習の論文100本ノックについに乗り出してみたいと思います笑 100本読んだ結果見える景色が何がどんなふうに変わるかわかりませんが、この分野の研究の関心動向や、...
機械学習【機械学習】交差検証後の最終モデルの選び方
こんばんは。今日は、機械学習に関する疑問に答える記事を書きたいと思います。 疑問 交差検証を行ったあと、どのように最終モデルを決定すればよいか？ 以下はk-分割交差検証 (k=5)の場合のイメージですが、あるアルゴリズム...
機械学習今更だけどExtremely Randomized Treeについて調べてみた
こんにちは。この記事では、機械学習で使われるExtremely Randamized Treeについて調べてみてわかったことをまとめておこうと思います。 構造化データに対するモデリングではLightGBMを使うことが多か...
Azure Machine Learning【自然言語処理】Microsoft Azure Text Analyticsで日本語テキストの分析【Python】
こんにちは。今日は、Microsoft AzureのText Analyticsサービスを使って日本語の感情分析を行ってみたいと思います。グローバルのクラウドサービスで、日本語に対応したテキスト分析サービスって結構珍しい...
機械学習【機械学習】新しい勾配ブースティングアルゴリズム「NGBoost」を使ってみた
こんにちは。今回は、昨年発表された新しい機械学習アルゴリズムである「NGBoost」を使ってみたいと思います。使ってみたいと思いつつ気がつけば半年ほど経ってしまっていました・・思ったらすぐに行動しなきゃですね、、 NGB...
機械学習【機械学習】Permutation Importanceでモデルの変数重要度を解釈する
こんにちは。今回は、機械学習モデルの変数重要度を計測する手法の一つである、Permutation Importanceについて調べてみたことをまとめておきたいと思います。 Permutation Importanceとは...
機械学習【機械学習】PDPBoxでPartial Dependency Plotを描いて機械学習モデルを解釈する
こんにちは。今日は、統計・機械学習モデルの解釈の手助けとなる、Partial Dependency Plot (PDP)の実装方法をまとめておこうと思います。 Partial Dependency Plotとは？ 線形モ...
機械学習【機械学習】学習アルゴリズムの選び方
こんにちは。本日は機械学習モデル構築にあたり、悩みどころである、学習アルゴリズムの選び方について、良いドキュメントを見つけたのでご紹介しようと思います。 まさにこういうものが欲しかった・・！そしてもっと早く見つけておきた...
機械学習【機械学習】Scikit-Learnで交差検証(Cross-Validation)を一瞬で実装する【Python】
こんにちは。本日は、Scikit-Learnを使って機械学習モデル構築時の交差検証を実装する方法をご紹介いたしますす。（交差検証の理論は分かっている前提で話を進めます） 方法１：sklearnのcross_val_sco...
機械学習【機械学習アルゴリズム解説】サポートベクターマシン
こんばんは。前回まで少し小休止で旅行記を書いていましたが、再び本題の機械学習の勉強を進めていければなと思います！ 兼ねてから、普段使っている機械学習アルゴリズムの仕組みや特徴を復習して頭に入れておきたいなと思っていたので...
データ分析【本当に役立った！】これからデータサイエンス・機械学習を学ぶ人におすすめの教材
こんにちは。本日は、データサイエンス・機械学習を学ぶに当たって、これはぜひ読んでおくべき！と思う本を主観に基づいてご紹介したいと思います！ 私自身も、アプリケーションエンジニアとしてキャリアを進めていたところから、1年間...
データ分析【Python×自然言語処理】テキストデータを極性辞書で感情分析してみる
こんにちは。 今日はツイートデータを用いてテキストのネガティブ/ポジティブ分析に挑戦してみたいと思います！ はじめに：分析対象のテキストデータ（Twitterデータ）を取得する 今回、分析対象のテキストデータにはTwit...
データ分析【Python×自然言語処理】形態素解析で分かち書きした単語を原形変換する
こんにちは。最近自然言語処理を勉強していますが、今回は、形態素解析を行って分割した各単語を原型に戻す方法について整理しておきたいと思います。どうやら形態素解析を行った後に、単語の種類数を減らすために単語を原型に変換すると...
データ分析【自然言語処理】形態素解析で品詞毎に頻出ワードを抽出
こんにちは。今回は、テキストデータ分析の切り口の１つとして、品詞毎の頻出ワードの特定を試してみましたので、その方法をまとめておこうと思います。分析対象データには、ツイッター上の「新型コロナウィルス」を含むツイートデータを...
MongoDB【Python×データ分析】TwitterデータをMongoDBに保存できるようにする
こんにちは。最近は、SNSデータをもっと自由に分析できるようになりたいなぁということで関連した記事をよく書いていますが、今回もそのシリーズになります！ 前回書いたTwitterデータの分析記事でご紹介した方法の発展形とし...
データ分析【自然言語処理】PythonとTwitter APIでデータ分析
こんばんは。今日はTwitter APIを使ったスクレイピングに挑戦したいと思います。Twitterのデータを自由に取得できるようになったら今後色々なデータ分析で幅が広がりそうです。 この記事では、Twitterのデータ...
データ分析【自然言語処理】テキストのカテゴリを自動分類する
こんにちは。今日は、自然言語に関する話題です。 自然言語処理はあまりこれまで触れてきておらず、RDBに蓄積されたテーブルデータの分析・機械学習モデリングがメインだったのですが、最近テキスト文から説明変数を抽出できたら良い...
機械学習TensorFlowHubの事前学習済モデルを使ってみた
こんにちは。本日はTensorflow Hubの使い方について解説してみたいと思います。 最近の一連の機械学習関連の記事を書いているきっかけにもなっているのですが、自然言語処理の勉強にあたって必要になった情報や知識を整理...
機械学習自然言語処理モデル BERTを理解する
こんばんは。本日は、自然言語処理モデルのBERTについて調べて分かったことをまとめておこうと思います。 最近、テーブルデータ分析を少し離れて自然言語処理(NLP)を勉強し始めているのですが、KaggleなどでNLPのコン...
データ分析機械学習における転移学習とファインチューニング
こんばんは。本日は転移学習(Transfer Learning)とファインチューニングについて調べたことを備忘メモを残しておこうと思います。 最近、自然言語処理を勉強し始めたのですが、書籍などをみていると、この「転移学習...
Azure Machine Learning【2022年最新版】10分でできる！Azure Machine Learningを使ったPython/Rデータ分析環境構築【Microsoft Azure】
こんばんは。この記事では、Microsoft Azureでデータ分析環境を利用できるようになるまでのステップを解説します。 自分がセットアップした時の手順を備忘として書きました。それでは早速まいります！ 2022年2月、...
データ分析Azure Machine LearningのAutoMLを使ってみる
こんばんは。本日は、Microsoft Azure AutoMLをローカルのJupyter上で使えるようにしたいと思います。 Azure Machine Learning AutoMLとは？ Microsoft Azur...
データ分析10分でできる！Anacondaで機械学習・データ分析環境構築
こんにちは。本日はローカル環境に機械学習環境を構築する手順を整理します。10分でやってしまいましょう！ということなのでもうサクサクと手順を説明していきます！ また、これから説明する手順はMac/Windowsともに共通フ...
データ分析【機械学習】決定木モデルの変数重要度をわかりやすく解説する
こんにちは。今日は決定木モデルのふるまいの解釈に使われる変数重要度について、自分でも理解が少しあいまいだったので整理してみようと思ってこの記事を書いています。 同じ疑問を持たれている方のお役に少しでも立ちましたら幸いです...
機械学習SHAPで機械学習モデルの予測根拠を解釈する
こんばんは！今日はモデルによる予測結果の解釈性を向上させる方法の１つであるSHAPを試してみたいと思います。私自身機械学習・データサイエンスを絶賛勉強中ですので、記事内容に謝りがあればご指摘いただけますと幸いです。 実ビ...
機械学習勾配ブースティングのDART法について調べてみた
Light-GBMの”boosting”ハイパーパラメータで”dart”というものがあり、しかもKaggleなどのコンペティションではこのオプションが使われていることが多い...
Sage MakerAWS SageMakerで簡単！機械学習・データ分析環境構築
こんばんは。 本日はAWS Sage Makerで機械学習環境を構築したときの手順を整理しておこうと思います。 AWS Sage Makerとは？ データ分析から機械学習のモデル構築、デプロイまでの一連のプロセスに必要な...
機械学習CNN（畳み込みニューラルネットワーク）でCIFER-10画像認識
普段はテーブルデータ分析がメインで、ニューラルネットワークは昔本で読んだっきり、実務で使う機会もなく忘れかけていたので、久々に復習しようと思い、記事にまとめておくことにしました。練習にはCIFAR-10のデータセットを使...
Profile
初めまして。
東京で働くデータ分析屋兼アプリケーションエンジニアです。旅行とカメラと江戸時代が趣味です。日々勉強したこと、趣味のことについて、自分の記録も兼ねて。
もともとは旅行記残そうと思って始めたブログですが、いつのまにか技術の話ばっかりに・・
＊記事はすべて個人の見解で、かつ記載時点の情報に基づいています。
