Azure CosmosDB (NoSQL API)のデータベースを別のCosmosDB (NoSQL API)に一括で移行するPythonコード
こんにちは。小ネタですが、Azure CosmosDB (NoSQL API)のデータベース内のデータを別のリソースに一括で移行するコードを貼っておきます。 CosmosDB間のデータ移行は、一般的にはAzure Dat...
Cosmos DBMicrosoftAzure
Cosmos DB
Azure OpenAI生成AIのRAGにNeo4jのナレッジグラフを利用してみる
こんにちは。最近、（主にNeo4jのブログ記事などで笑）生成AIのRAGでグラフデータベースであるNeo4jを利用するアイデアを目にするようになってきたので、このアイデアがRAGをどのように改善するのか、調べたり試したり...
Azure Machine LearningAzure Machine Learningの特徴量ストア機能でできることを理解する
こんばんは。今日はAzure Machine Learningの特徴量ストア機能について調べて触れてみたので、わかったことなどをメモしておきたいと思います。 それでは参ります。 特徴量ストアとは？ こちらの記事が分かりや...
Azure Machine LearningAzure Machine Learningのデータドリフト監視機能を使ってみる
こんにちは。今日は、前から気になっていたAzure Machine Learningのデータドリフト検知機能について勉強を進めたので、わかったことなどをまとめておきたいと思います。 Azure Machine Learn...
Azure DatabricksApache Sparkの構造化ストリーミングとはどういうものかを理解する
こんばんは。最近Databricksを勉強する過程でSparkの技術に触れる機会が増えてきました。 今日は、その中の一つ、構造化ストリーミングという技術について色々と調べたので、わかったことをメモしておこうと思います。 ...
Azure DatabricksAzure Databricksの自動ローダー（Auto Loader）機能でできることを理解する
こんにちは。今日は、Databricksの自動ローダー機能について勉強を進めたので、理解したことなどをメモしておきたいと思います。 なお、私もDatabricks、自動ローダー機能ともに調べながら理解を深めているなので、...
Azure DatabricksAzure DatabricksでKey Vaultにアクセスしようとすると「com.databricks.common.client.DatabricksServiceHttpClientException: PERMISSION_DENIED」エラーが発生する
こんにちは。 問題 DatabricksからAzure Data Lake Storage Gen2のデータを読み取るために、以下のチュートリアルに沿って、アクセス許可の構成を進めていたところ、DatabricksからK...
Azure DatabricksAzure DatabricksのDelta Live Table機能でできることを理解する
こんにちは。今日は、DatabricksのDelta Live Table機能について勉強をしたので、わかったことなどをこの記事にまとめておきたいと思います。 それではまいります。 Delta Live Tableとは？...
MicrosoftAzureAzure (Microsoft 365) にログインしようとすると「詳細情報が必要：ご使用のアカウントを保護するため、組織ではされに情報が必要です」というエラーが出て永遠に次に進まない現象の解決方法
こんばんは。 ちょっとタイトルの件で盛大に時間を食ったので、今後同じような被害者を出さないためにも備忘メモを残しておきます。 問題 Azure環境にログインしようとすると「詳細情報が必要：ご使用のアカウントを保護するため...
Azure DatabricksAzure Databricksで「No parent external location found for path ‘abfss:XXX」エラーが発生する原因と対処法
こんにちは。今日はAzure Databricksでハマった部分があったので、以下に備忘メモを残しておきます。 問題 Databricks SQLで、LISTコマンドを実行すると、「No parent external ...
Azure DatabricksAzure Databricksの特徴量ストア機能を使ってみた
こんばんは。最近、Databricksの特徴量ストア機能を触ってみたので、分かったことなどを備忘メモで纏めておきたいと思います。 それではまいります。 Azure Databricksの特徴量ストア機能とは 特徴量ストア...
Azure Databricks「Apache Spark: A Unified Engine for Big Data Processing」の日本語要約
こんばんは。ここ数日Databricks社が公開する論文や公開記事を追いかけています。 今日は、2016年11月に公開された「Apache Spark: A Unified Engine for Big Data Pro...
Azure Databricks論文「Accelerating the Machine Learning Lifecycle with MLflow」の日本語要約
こんばんは。ここ数日Databricks社が公開する論文を追いかけています。 今日は、2023年8月に公開された「Accelerating the Machine Learning Lifecycle with MLfl...
Azure Databricks論文「Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics」の日本語要約
こんにちは。今日は、Databricks社が発表したLakhouseアーキテクチャの論文を日本語で要約しながら読んでみたので、メモを残しておきます。なお、翻訳と要約にはChatGPTを利用しています。 Lakehouse...
Azure DatabricksAzure DatabricksでUnity Catalogを利用して機械学習モデルを構築してみた
こんにちは。最近はDatabricksの勉強をしていて、関連記事の投稿が増えてきました・・ 今日は、前から気になってた、Databricksを使った機械学習のモデル開発についての理解を深めてみたいと思います。 以下の記事...
Azure DatabricksAzure DatabricksのUnity Catalogを利用してテーブルのアクセス制御を行う
こんばんは。今日は、Azure DatabricksのUnity Catalogを利用してテーブルのアクセス制御を行う方法を試してみたので、備忘メモとして残しておこうと思います。 なお、Databricksでは、いろいろ...
Azure DatabricksAzure DatabricksでUnity Catalogを利用してテーブル・ボリュームを作成する
こんばんは。今回は、前回のUnity Catalogメタストア作成に引き続き、Azure DatabricksでUnity Catalogを利用したテーブル・ボリューム作成を試してみましたので、備忘メモを残しておきます。...
Azure DatabricksAzure DatabricksのUnity Catalogメタストアを作成してみた
こんにちは。今日は、Azure DatabricksのUnitiy Catalogメタストアを作成する方法を試してみたので備忘メモしておきます。それではまいります。 Unitiy Catalog用のADLS Gen2コン...
Azure DatabricksAzure DatabricksでUnity Catalogが作成できない！？
こんばんは、今日はAzure Databricksで躓いた点があったのでメモを残しておきます。 問題 Azure DatabricksでUnity Catalogを作成しようとしたのだが、作成するボタンがどこにもみあたら...
API ManagementAzure API Managementの参照アーキテクチャパターン
こんにちは。今日は、Azure API Managementの参照アーキテクチャパターン（主にセキュリティの観点）について調べてみたので、分かったことをメモしておきたいと思います。 それではまいります。 なお、すべてのア...
Application GatewayAzure Application Gatewayを使ってSQLインジェクション攻撃を検知・遮断できるか試してみた
こんばんは。今日は、Azure Application Gatewayについて前から気になっていたことを実験してみましたので、メモを残しておこうと思います。 やりたいこと SQLインジェクションといったアプリケーションレ...
Azure DatabricksDatabricksのSQL Warehouse (SQL Endpoint) と Databricks Clusterの違い
こんにちは。最近Databricksを勉強しているのですが、GUIを触っていて??となったタイトルの件について調べてみたので、分かったことをまとめておきたいと思います。 なお、私はAzure上のAzure Databri...
Synapse AnalyticsAzure Synapse Analytics サーバレスSQL / 専用SQLプール / Sparkプールのクエリ速度を比較してみた
こんばんは。今日は、しばし気になっていたAzureの分析データストアソリューション、Azure Synapse Analyticsの専用SQLプール/サーバレスSQL/Sparkプールのクエリ速度比較の実験をしてみました...
Cognitive ServicesAzure Cognitive Service Container (OCR Read) を使ってみる
新年あけましておめでとうございます。昨年8月を最後にブログの投稿が止まっていて久しぶりの投稿ですが、今年も時間をみつけて記事を残していきたいと思います。 新年１発目はAzure Cognitive Serviceの話にな...
Azure Data FactoryAzure Data Factoryのコピーアクティビティでスキーマ構造を動的に定義する
こんばんは。今日は、Azure Data Factoryのコピーアクティビティで、スキーマ構造を動的に定義する方法を試してみたので、備忘メモを残しておきたいと思います。 それではまいります。 やりたいこと 例えばAzur...
Virtual MachinesAzure SQL仮想マシンでプロビジョニングの状態が”Failed”になってSQL Serverに接続できない
こんにちは。Azure SQL 仮想マシンでちょっとつまづいたことがあったので備忘のためメモを残しておきたいと思います。 問題 Azure SQL仮想マシンの設定がポータル上グレーアウトされていじれなくなった。 プロビジ...
Synapse AnalyticsAzure Synapse Analyticsの専用SQLプールにデータを取り込む方法まとめ
こんばんは。今日はAzure Synapse Analyticsの専用SQLプールにデータを取り込む方法を調べたり試したりしていたので、分かったことを残しておきたいと思います。 それではまいります。 専用SQLプールにデ...
Synapse AnalyticsAzure Synapse Analytics 専用SQLプール上の分散テーブルのData Skewを特定して改善する
こんばんは。今日は、Azure Synapse Analyticsの分散テーブルのSkewを特定して改善する方法を試してみたので、メモを残しておきたいと思います。 それではまいります。 Synapse Analytics...
Cognitive Services【１０分でできる】Azure Cognitive Service – Custom Visionで独自の画像分類モデルを構築～デプロイしてみる【ノーコード】
こんにちは。今日は、Cognitive ServiceのCustom Visionをちょっとだけ触ってみる機会があったので、触れた内容を記録として残しておきたいと思います。 それではまいります。 Azure Cognit...
Cognitive ServicesAzure Cognitive Service – Computer Visionを使って一瞬でOCRアプリケーションを作成する
こんにちは。今日は、Azure Cognitive ServiceのComputer Visionを少し触ってみたので、それをもとに簡単にOCRアプリケーションを作成する方法のメモを残しておきたいと思います。 それではま...
Profile
初めまして。
東京で働くデータ分析屋兼アプリケーションエンジニアです。旅行とカメラと江戸時代が趣味です。日々勉強したこと、趣味のことについて、自分の記録も兼ねて。
もともとは旅行記残そうと思って始めたブログですが、いつのまにか技術の話ばっかりに・・
＊記事はすべて個人の見解で、かつ記載時点の情報に基づいています。
