【一瞬】JupyterLabがフリーズした時の対処方法
こんにちは。最近、Jupyter Labをコンソールから起動すると画面がフリーズしてしまう事象に遭遇しました。 根本原因は分からなかったのですが、意外な方法で解決することができたので書いておきます。 事象 Anacond...
データ分析データ分析・機械学習
データ分析
機械学習【機械学習】学習アルゴリズムの選び方
こんにちは。本日は機械学習モデル構築にあたり、悩みどころである、学習アルゴリズムの選び方について、良いドキュメントを見つけたのでご紹介しようと思います。 まさにこういうものが欲しかった・・！そしてもっと早く見つけておきた...
機械学習【機械学習】Scikit-Learnで交差検証(Cross-Validation)を一瞬で実装する【Python】
こんにちは。本日は、Scikit-Learnを使って機械学習モデル構築時の交差検証を実装する方法をご紹介いたしますす。（交差検証の理論は分かっている前提で話を進めます） 方法１：sklearnのcross_val_sco...
データ分析【Pythonデータ分析】カテゴリ毎の存在比率を計算する
こんばんは。本日は、データ分析Tipsということで、最近知った（遅ればせながら・・）便利コマンドをご紹介したいと思います。 value_counts()のnormalizeオプションを利用する 下のデータは公開されている...
機械学習【機械学習アルゴリズム解説】サポートベクターマシン
こんばんは。前回まで少し小休止で旅行記を書いていましたが、再び本題の機械学習の勉強を進めていければなと思います！ 兼ねてから、普段使っている機械学習アルゴリズムの仕組みや特徴を復習して頭に入れておきたいなと思っていたので...
データ分析【本当に役立った！】これからデータサイエンス・機械学習を学ぶ人におすすめの教材
こんにちは。本日は、データサイエンス・機械学習を学ぶに当たって、これはぜひ読んでおくべき！と思う本を主観に基づいてご紹介したいと思います！ 私自身も、アプリケーションエンジニアとしてキャリアを進めていたところから、1年間...
データ分析【Python×自然言語処理】テキストデータを極性辞書で感情分析してみる
こんにちは。 今日はツイートデータを用いてテキストのネガティブ/ポジティブ分析に挑戦してみたいと思います！ はじめに：分析対象のテキストデータ（Twitterデータ）を取得する 今回、分析対象のテキストデータにはTwit...
データ分析【Python×自然言語処理】形態素解析で分かち書きした単語を原形変換する
こんにちは。最近自然言語処理を勉強していますが、今回は、形態素解析を行って分割した各単語を原型に戻す方法について整理しておきたいと思います。どうやら形態素解析を行った後に、単語の種類数を減らすために単語を原型に変換すると...
データ分析【自然言語処理】形態素解析で品詞毎に頻出ワードを抽出
こんにちは。今回は、テキストデータ分析の切り口の１つとして、品詞毎の頻出ワードの特定を試してみましたので、その方法をまとめておこうと思います。分析対象データには、ツイッター上の「新型コロナウィルス」を含むツイートデータを...
MongoDB【Python×データ分析】TwitterデータをMongoDBに保存できるようにする
こんにちは。最近は、SNSデータをもっと自由に分析できるようになりたいなぁということで関連した記事をよく書いていますが、今回もそのシリーズになります！ 前回書いたTwitterデータの分析記事でご紹介した方法の発展形とし...
データ分析【自然言語処理】PythonとTwitter APIでデータ分析
こんばんは。今日はTwitter APIを使ったスクレイピングに挑戦したいと思います。Twitterのデータを自由に取得できるようになったら今後色々なデータ分析で幅が広がりそうです。 この記事では、Twitterのデータ...
データ分析JupyterLab2.0になって変わったこと
こんばんは。いつもデータ分析で愛用しているJupyterLabのメジャーバージョンが先月上がっていたことに今更ながら気づきましたので、私のJupyterLabもアップグレードしてみようと思います。 また、タイトルとは関係...
データ分析【自然言語処理】テキストのカテゴリを自動分類する
こんにちは。今日は、自然言語に関する話題です。 自然言語処理はあまりこれまで触れてきておらず、RDBに蓄積されたテーブルデータの分析・機械学習モデリングがメインだったのですが、最近テキスト文から説明変数を抽出できたら良い...
データ分析【Python×データ分析】Apache Sparkを使ってみた【大規模分散処理】
こんにちは。Yutaro＠年末合宿中です。この年末は、これまで耳にしていたけれど実際に使ってみれていなかった技術を色々と触ってみようと思っています！ その第一弾がSparkというわけです。 現在はアドホックなデータ分析や...
機械学習TensorFlowHubの事前学習済モデルを使ってみた
こんにちは。本日はTensorflow Hubの使い方について解説してみたいと思います。 最近の一連の機械学習関連の記事を書いているきっかけにもなっているのですが、自然言語処理の勉強にあたって必要になった情報や知識を整理...
機械学習自然言語処理モデル BERTを理解する
こんばんは。本日は、自然言語処理モデルのBERTについて調べて分かったことをまとめておこうと思います。 最近、テーブルデータ分析を少し離れて自然言語処理(NLP)を勉強し始めているのですが、KaggleなどでNLPのコン...
データ分析機械学習における転移学習とファインチューニング
こんばんは。本日は転移学習(Transfer Learning)とファインチューニングについて調べたことを備忘メモを残しておこうと思います。 最近、自然言語処理を勉強し始めたのですが、書籍などをみていると、この「転移学習...
BITableauでドーナツチャート作成
こんばんは。最近仕事でTableauを使う機会があったので、苦戦したことを纏めておこうと思います。この記事ではドーナツチャートの作成手順を整理します。 Tableau、使ってみると簡単なグラフがとっても作りづらい・・・と...
Azure Machine Learning【2022年最新版】10分でできる！Azure Machine Learningを使ったPython/Rデータ分析環境構築【Microsoft Azure】
こんばんは。この記事では、Microsoft Azureでデータ分析環境を利用できるようになるまでのステップを解説します。 自分がセットアップした時の手順を備忘として書きました。それでは早速まいります！ 2022年2月、...
データ分析Azure Machine LearningのAutoMLを使ってみる
こんばんは。本日は、Microsoft Azure AutoMLをローカルのJupyter上で使えるようにしたいと思います。 Azure Machine Learning AutoMLとは？ Microsoft Azur...
データ分析【これは楽しい】Microsoftの可視化ツールSandDanceを使ってみた
こんばんは、今日はMicrosoft社が開発したBIツールSand Danceを使ってみようと思います。 SandDanceの歴史 Sand Danceは2011月にMicrosoft社の研究機関であるMicrosoft...
データ分析10分でできる！Anacondaで機械学習・データ分析環境構築
こんにちは。本日はローカル環境に機械学習環境を構築する手順を整理します。10分でやってしまいましょう！ということなのでもうサクサクと手順を説明していきます！ また、これから説明する手順はMac/Windowsともに共通フ...
データ分析【機械学習】決定木モデルの変数重要度をわかりやすく解説する
こんにちは。今日は決定木モデルのふるまいの解釈に使われる変数重要度について、自分でも理解が少しあいまいだったので整理してみようと思ってこの記事を書いています。 同じ疑問を持たれている方のお役に少しでも立ちましたら幸いです...
機械学習SHAPで機械学習モデルの予測根拠を解釈する
こんばんは！今日はモデルによる予測結果の解釈性を向上させる方法の１つであるSHAPを試してみたいと思います。私自身機械学習・データサイエンスを絶賛勉強中ですので、記事内容に謝りがあればご指摘いただけますと幸いです。 実ビ...
機械学習勾配ブースティングのDART法について調べてみた
Light-GBMの”boosting”ハイパーパラメータで”dart”というものがあり、しかもKaggleなどのコンペティションではこのオプションが使われていることが多い...
Sage MakerAWS SageMakerで簡単！機械学習・データ分析環境構築
こんばんは。 本日はAWS Sage Makerで機械学習環境を構築したときの手順を整理しておこうと思います。 AWS Sage Makerとは？ データ分析から機械学習のモデル構築、デプロイまでの一連のプロセスに必要な...
機械学習CNN（畳み込みニューラルネットワーク）でCIFER-10画像認識
普段はテーブルデータ分析がメインで、ニューラルネットワークは昔本で読んだっきり、実務で使う機会もなく忘れかけていたので、久々に復習しようと思い、記事にまとめておくことにしました。練習にはCIFAR-10のデータセットを使...
機械学習時系列データ分析 基礎知識編
業務の中で時系列データ分析を行う機会があったので、ド素人目線で躓いた基礎知識をまとめておこうと思います。勉強はじめたての素人のため、間違っている記述があればコメントいただけますと幸いです。 ＊今は簡単な言葉でしかかいてい...
Profile
初めまして。
東京で働くデータ分析屋兼アプリケーションエンジニアです。旅行とカメラと江戸時代が趣味です。日々勉強したこと、趣味のことについて、自分の記録も兼ねて。
もともとは旅行記残そうと思って始めたブログですが、いつのまにか技術の話ばっかりに・・
＊記事はすべて個人の見解で、かつ記載時点の情報に基づいています。
