データ分析

【３分で流し読み】メダリオンアーキテクチャを理解する

こんばんは。今日はメダリオンアーキテクチャという言葉を初めて耳にしたのでちょっと調べてみました。それではさっそく参ります。メダリオンアーキテクチャとはデータレイク・データウェアハウスの設計パターンとして最近注目され...

Anacondaで環境構成をYAMLファイルにエクスポートする方法

こんにちは。今回はAnacondaの小ネタです。今日は、ローカルの分析環境をAzure Machine Learningに移植するためにこの方法について調べたので、自分への備忘も含めて残しておきます。＊Azure M...

【Python×データ分析】今更ながらt-SNEについて調べてみた。PCAとの比較も。

こんにちは。久々にKaggleを再開したら、まだ知らなかった技術に沢山遭遇しましたので、一つずつ勉強する毎日です。。今日は、t-SNEについて調べてみました。過去のKaggle優勝テクニックを調べているときに、このt-...

【Python×データ分析】Scikit-Learnで主成分分析(PCA)を実装する

こんばんは。今回は久々、Python×データ分析の話です。主成分分析のScikit Learnを使った実装を実行可能なサンプルコードとともに残しておきます。取り急ぎ最低限の情報だけ。またUpdateします。参考サイ...

JupyterLabが”‘ExtensionManager’ object has no attribute ‘_extensions’ when starting JupyterLab”エラーで立ち上がらなくなった

こんばんは。今日はJupyter Labのトラブルシューティングです。早速参ります。問題 Jupyter Labを起動しようとターミナルから”jupyter lab”を実行すると、以下のエラー...

【Python×データ分析】Seabornで円グラフを作成できる？

こんばんは。今日はPythonネタです。いっつも調べるんだけど時間がたつと忘れて同じ疑問にぶちあたるので、そろそろ記事で整理しておこうと思います。それではまいります。 Seabornで円グラフを作成できる？できない！...

【統計学・データ分析】Pythonで実装しながら覚えるF分布

こんにちは。今日は、統計学に関する内容です！最近、統計検定の勉強をしているのですが、その中でいろいろな統計分布の種類があることを知ったは良いものの、違いが直感的によく分からず、実務に活かせる気がしなかったので、実際に絵...

【統計学・データ分析】Pythonで実装しながら覚えるt分布

こんにちは。今日は、統計学に関する内容です！最近、統計検定の勉強をしているのですが、その中でいろいろな統計分布の種類があることを知ったは良いものの、違いが直感的によく分からず、実務に活かせる気がしなかったので、実際に絵...

【統計学・データ分析】Pythonで実装しながら覚えるχ(カイ)二乗分布

こんにちは。今日は、統計学に関する内容です！最近、統計検定の勉強をしているのですが、その中でいろいろな統計分布の種類があることを知ったは良いものの、違いが直感的によく分からず、実務に活かせる気がしなかったので、実際に絵...

【統計学・データ分析】Pythonで実装しながら覚える指数分布

こんにちは。今日は、統計学に関する内容です！最近、統計検定の勉強をしているのですが、その中でいろいろな統計分布の種類があることを知ったは良いものの、違いが直感的によく分からず、実務に活かせる気がしなかったので、実際に絵...

【統計学・データ分析】Pythonで実装しながら覚える正規分布

こんにちは。今日は、統計学に関する内容です！最近、統計検定の勉強をしているのですが、その中でいろいろな統計分布の種類があることを知ったは良いものの、違いが直感的によく分からず、実務に活かせる気がしなかったので、実際に絵...

【統計学・データ分析】Pythonで実装しながら覚える幾何分布

こんにちは。今日は、統計学に関する内容です！最近、統計検定の勉強をしているのですが、その中でいろいろな統計分布の種類があることを知ったは良いものの、違いが直感的によく分からず、実務に活かせる気がしなかったので、実際に絵...

【統計学・データ分析】Pythonで実装しながら覚えるポアソン分布

こんにちは。今日は、統計学に関する内容です！最近、統計検定の勉強をしているのですが、その中でいろいろな統計分布の種類があることを知ったは良いものの、違いが直感的によく分からず、実務に活かせる気がしなかったので、実際に絵...

【統計学・データ分析】Pythonで実装しながら覚える二項分布

こんにちは。今日は、統計学に関する内容です！最近、統計検定の勉強をしているのですが、その中でいろいろな統計分布の種類があることを知ったは良いものの、違いが直感的によく分からず、実務に活かせる気がしなかったので、実際に絵...

【統計学・データ分析】Pythonで実装しながら覚えるベルヌーイ分布

こんにちは。今日は、統計学に関する内容です！最近、統計検定の勉強をしているのですが、その中でいろいろな統計分布の種類があることを知ったは良いものの、違いが直感的によく分からず、実務に活かせる気がしなかったので、実際に絵...

【データ分析】MacOSで複数のPython/Anacondaバージョンを使い分ける方法【pyenv】

こんにちは。今日は、Mac OSで複数のPythonバージョンを行う方法についてまとめておこうと思います。Anacondaなどで入れたPythonを使ってデータ分析をしていると、ある日Pythonの新しいバージョンが公開...

【自然言語処理】Microsoft Azure Text Analyticsで日本語テキストの分析【Python】

こんにちは。今日は、Microsoft AzureのText Analyticsサービスを使って日本語の感情分析を行ってみたいと思います。グローバルのクラウドサービスで、日本語に対応したテキスト分析サービスって結構珍しい...

【一瞬】JupyterLabがフリーズした時の対処方法

こんにちは。最近、Jupyter Labをコンソールから起動すると画面がフリーズしてしまう事象に遭遇しました。根本原因は分からなかったのですが、意外な方法で解決することができたので書いておきます。事象 Anacond...

【Pythonデータ分析】カテゴリ毎の存在比率を計算する

こんばんは。本日は、データ分析Tipsということで、最近知った（遅ればせながら・・）便利コマンドをご紹介したいと思います。 value_counts()のnormalizeオプションを利用する下のデータは公開されている...

【本当に役立った！】これからデータサイエンス・機械学習を学ぶ人におすすめの教材

こんにちは。本日は、データサイエンス・機械学習を学ぶに当たって、これはぜひ読んでおくべき！と思う本を主観に基づいてご紹介したいと思います！私自身も、アプリケーションエンジニアとしてキャリアを進めていたところから、1年間...

【Python×自然言語処理】テキストデータを極性辞書で感情分析してみる

こんにちは。今日はツイートデータを用いてテキストのネガティブ/ポジティブ分析に挑戦してみたいと思います！はじめに：分析対象のテキストデータ（Twitterデータ）を取得する今回、分析対象のテキストデータにはTwit...

【Python×自然言語処理】形態素解析で分かち書きした単語を原形変換する

こんにちは。最近自然言語処理を勉強していますが、今回は、形態素解析を行って分割した各単語を原型に戻す方法について整理しておきたいと思います。どうやら形態素解析を行った後に、単語の種類数を減らすために単語を原型に変換すると...

【自然言語処理】形態素解析で品詞毎に頻出ワードを抽出

こんにちは。今回は、テキストデータ分析の切り口の１つとして、品詞毎の頻出ワードの特定を試してみましたので、その方法をまとめておこうと思います。分析対象データには、ツイッター上の「新型コロナウィルス」を含むツイートデータを...

【Python×データ分析】TwitterデータをMongoDBに保存できるようにする

こんにちは。最近は、SNSデータをもっと自由に分析できるようになりたいなぁということで関連した記事をよく書いていますが、今回もそのシリーズになります！前回書いたTwitterデータの分析記事でご紹介した方法の発展形とし...

【自然言語処理】PythonとTwitter APIでデータ分析

こんばんは。今日はTwitter APIを使ったスクレイピングに挑戦したいと思います。Twitterのデータを自由に取得できるようになったら今後色々なデータ分析で幅が広がりそうです。この記事では、Twitterのデータ...

JupyterLab2.0になって変わったこと

こんばんは。いつもデータ分析で愛用しているJupyterLabのメジャーバージョンが先月上がっていたことに今更ながら気づきましたので、私のJupyterLabもアップグレードしてみようと思います。また、タイトルとは関係...

【自然言語処理】テキストのカテゴリを自動分類する

こんにちは。今日は、自然言語に関する話題です。自然言語処理はあまりこれまで触れてきておらず、RDBに蓄積されたテーブルデータの分析・機械学習モデリングがメインだったのですが、最近テキスト文から説明変数を抽出できたら良い...

【Python×データ分析】Apache Sparkを使ってみた【大規模分散処理】

こんにちは。Yutaro＠年末合宿中です。この年末は、これまで耳にしていたけれど実際に使ってみれていなかった技術を色々と触ってみようと思っています！その第一弾がSparkというわけです。現在はアドホックなデータ分析や...

機械学習における転移学習とファインチューニング

こんばんは。本日は転移学習(Transfer Learning)とファインチューニングについて調べたことを備忘メモを残しておこうと思います。最近、自然言語処理を勉強し始めたのですが、書籍などをみていると、この「転移学習...

【2022年最新版】10分でできる！Azure Machine Learningを使ったPython/Rデータ分析環境構築【Microsoft Azure】

こんばんは。この記事では、Microsoft Azureでデータ分析環境を利用できるようになるまでのステップを解説します。自分がセットアップした時の手順を備忘として書きました。それでは早速まいります！ 2022年2月、...