【Python×データ分析】今更ながらt-SNEについて調べてみた。PCAとの比較も。
こんにちは。久々にKaggleを再開したら、まだ知らなかった技術に沢山遭遇しましたので、一つずつ勉強する毎日です。。 今日は、t-SNEについて調べてみました。過去のKaggle優勝テクニックを調べているときに、このt-...
データ分析データサイエンス
データ分析データ分析【Python×データ分析】Scikit-Learnで主成分分析(PCA)を実装する
こんばんは。今回は久々、Python×データ分析の話です。 主成分分析のScikit Learnを使った実装を実行可能なサンプルコードとともに残しておきます。 取り急ぎ最低限の情報だけ。またUpdateします。 参考サイ...
データ分析【本当に役立った！】これからデータサイエンス・機械学習を学ぶ人におすすめの教材
こんにちは。本日は、データサイエンス・機械学習を学ぶに当たって、これはぜひ読んでおくべき！と思う本を主観に基づいてご紹介したいと思います！ 私自身も、アプリケーションエンジニアとしてキャリアを進めていたところから、1年間...
データ分析【Python×自然言語処理】形態素解析で分かち書きした単語を原形変換する
こんにちは。最近自然言語処理を勉強していますが、今回は、形態素解析を行って分割した各単語を原型に戻す方法について整理しておきたいと思います。どうやら形態素解析を行った後に、単語の種類数を減らすために単語を原型に変換すると...
データ分析【自然言語処理】形態素解析で品詞毎に頻出ワードを抽出
こんにちは。今回は、テキストデータ分析の切り口の１つとして、品詞毎の頻出ワードの特定を試してみましたので、その方法をまとめておこうと思います。分析対象データには、ツイッター上の「新型コロナウィルス」を含むツイートデータを...
MongoDB【Python×データ分析】TwitterデータをMongoDBに保存できるようにする
こんにちは。最近は、SNSデータをもっと自由に分析できるようになりたいなぁということで関連した記事をよく書いていますが、今回もそのシリーズになります！ 前回書いたTwitterデータの分析記事でご紹介した方法の発展形とし...
データ分析【自然言語処理】PythonとTwitter APIでデータ分析
こんばんは。今日はTwitter APIを使ったスクレイピングに挑戦したいと思います。Twitterのデータを自由に取得できるようになったら今後色々なデータ分析で幅が広がりそうです。 この記事では、Twitterのデータ...
データ分析【これは楽しい】Microsoftの可視化ツールSandDanceを使ってみた
こんばんは、今日はMicrosoft社が開発したBIツールSand Danceを使ってみようと思います。 SandDanceの歴史 Sand Danceは2011月にMicrosoft社の研究機関であるMicrosoft...
データ分析10分でできる！Anacondaで機械学習・データ分析環境構築
こんにちは。本日はローカル環境に機械学習環境を構築する手順を整理します。10分でやってしまいましょう！ということなのでもうサクサクと手順を説明していきます！ また、これから説明する手順はMac/Windowsともに共通フ...
データ分析【機械学習】決定木モデルの変数重要度をわかりやすく解説する
こんにちは。今日は決定木モデルのふるまいの解釈に使われる変数重要度について、自分でも理解が少しあいまいだったので整理してみようと思ってこの記事を書いています。 同じ疑問を持たれている方のお役に少しでも立ちましたら幸いです...
機械学習SHAPで機械学習モデルの予測根拠を解釈する
こんばんは！今日はモデルによる予測結果の解釈性を向上させる方法の１つであるSHAPを試してみたいと思います。私自身機械学習・データサイエンスを絶賛勉強中ですので、記事内容に謝りがあればご指摘いただけますと幸いです。 実ビ...
機械学習勾配ブースティングのDART法について調べてみた
Light-GBMの”boosting”ハイパーパラメータで”dart”というものがあり、しかもKaggleなどのコンペティションではこのオプションが使われていることが多い...
Sage MakerAWS SageMakerで簡単！機械学習・データ分析環境構築
こんばんは。 本日はAWS Sage Makerで機械学習環境を構築したときの手順を整理しておこうと思います。 AWS Sage Makerとは？ データ分析から機械学習のモデル構築、デプロイまでの一連のプロセスに必要な...
機械学習時系列データ分析 基礎知識編
業務の中で時系列データ分析を行う機会があったので、ド素人目線で躓いた基礎知識をまとめておこうと思います。勉強はじめたての素人のため、間違っている記述があればコメントいただけますと幸いです。 ＊今は簡単な言葉でしかかいてい...
Profile
初めまして。
東京で働くデータ分析屋兼アプリケーションエンジニアです。旅行とカメラと江戸時代が趣味です。日々勉強したこと、趣味のことについて、自分の記録も兼ねて。
もともとは旅行記残そうと思って始めたブログですが、いつのまにか技術の話ばっかりに・・
＊記事はすべて個人の見解で、かつ記載時点の情報に基づいています。
