React (TypeScript)+ FlaskでWebアプリケーションを爆速構築する
こんにちは。今日は、React （Type Script）+ FlaskでHello Worldを表示するアプリケーションを爆速開発したので、メモとしてコードを残しておきます。 なお、今回のアプリ開発ではChatGPTに...
PythonPythonCosmos DBAzure CosmosDB (NoSQL API)のデータベースを別のCosmosDB (NoSQL API)に一括で移行するPythonコード
こんにちは。小ネタですが、Azure CosmosDB (NoSQL API)のデータベース内のデータを別のリソースに一括で移行するコードを貼っておきます。 CosmosDB間のデータ移行は、一般的にはAzure Dat...
Azure OpenAI生成AIのRAGにNeo4jのナレッジグラフを利用してみる
こんにちは。最近、（主にNeo4jのブログ記事などで笑）生成AIのRAGでグラフデータベースであるNeo4jを利用するアイデアを目にするようになってきたので、このアイデアがRAGをどのように改善するのか、調べたり試したり...
UncategorizedグラフデータベースNeo4jで何ができるかを理解する
こんにちは。今回は、グラフデータベースについて理解を深める週末にしたいと思います。 これまでITエンジニアとしてキャリアを進める中で、グラフデータベースの話題はほとんど出ることがなかったですが、昨今生成AIとの組み合わせ...
UncategorizedバンコクでGoogle Pixelを壊したら終わり・・！万が一故障した時にすぐに直せる場所
こんにちは。最近、日本からGoogle Pixelを持ってきたを地面に落として画面を割ってしまいました・・・ やばい、すぐ修理したいと思いネットを色々探してみたのですが、実は2023年11月現在タイのバンコクにはGoog...
Azure Machine LearningAzure Machine Learningの特徴量ストア機能でできることを理解する
こんばんは。今日はAzure Machine Learningの特徴量ストア機能について調べて触れてみたので、わかったことなどをメモしておきたいと思います。 それでは参ります。 特徴量ストアとは？ こちらの記事が分かりや...
Azure Machine LearningAzure Machine Learningのデータドリフト監視機能を使ってみる
こんにちは。今日は、前から気になっていたAzure Machine Learningのデータドリフト検知機能について勉強を進めたので、わかったことなどをまとめておきたいと思います。 Azure Machine Learn...
Azure DatabricksApache Sparkの構造化ストリーミングとはどういうものかを理解する
こんばんは。最近Databricksを勉強する過程でSparkの技術に触れる機会が増えてきました。 今日は、その中の一つ、構造化ストリーミングという技術について色々と調べたので、わかったことをメモしておこうと思います。 ...
Azure DatabricksAzure Databricksの自動ローダー（Auto Loader）機能でできることを理解する
こんにちは。今日は、Databricksの自動ローダー機能について勉強を進めたので、理解したことなどをメモしておきたいと思います。 なお、私もDatabricks、自動ローダー機能ともに調べながら理解を深めているなので、...
Azure DatabricksAzure DatabricksでKey Vaultにアクセスしようとすると「com.databricks.common.client.DatabricksServiceHttpClientException: PERMISSION_DENIED」エラーが発生する
こんにちは。 問題 DatabricksからAzure Data Lake Storage Gen2のデータを読み取るために、以下のチュートリアルに沿って、アクセス許可の構成を進めていたところ、DatabricksからK...
Azure DatabricksAzure DatabricksのDelta Live Table機能でできることを理解する
こんにちは。今日は、DatabricksのDelta Live Table機能について勉強をしたので、わかったことなどをこの記事にまとめておきたいと思います。 それではまいります。 Delta Live Tableとは？...
海外移住タイ・バンコク旅行では海外SIMカードの購入が圧倒的にお得でおすすめ！
こんにちは。今日は珍しく旅関連の記事になります。 これまでよく海外旅行に行ってましたが、お恥ずかしながらつい最近知ったお得な情報があったので、この記事にまとめておきます。 結論 タイのバンコクへ旅行される方（今回自分が旅...
MicrosoftAzureAzure (Microsoft 365) にログインしようとすると「詳細情報が必要：ご使用のアカウントを保護するため、組織ではされに情報が必要です」というエラーが出て永遠に次に進まない現象の解決方法
こんばんは。 ちょっとタイトルの件で盛大に時間を食ったので、今後同じような被害者を出さないためにも備忘メモを残しておきます。 問題 Azure環境にログインしようとすると「詳細情報が必要：ご使用のアカウントを保護するため...
UncategorizedAzure DatabricksのLakehouseフェデレーションを試してみる
Lakehouseフェデレーションとは Lakehouseフェデレーション機能を使うと、企業が持っているいろいろな場所に保存されているデータに、一つの場所から簡単にアクセスできます。例えば、営業データが一つ、顧客データが...
Azure DatabricksAzure Databricksで「No parent external location found for path ‘abfss:XXX」エラーが発生する原因と対処法
こんにちは。今日はAzure Databricksでハマった部分があったので、以下に備忘メモを残しておきます。 問題 Databricks SQLで、LISTコマンドを実行すると、「No parent external ...
Azure DatabricksAzure Databricksの特徴量ストア機能を使ってみた
こんばんは。最近、Databricksの特徴量ストア機能を触ってみたので、分かったことなどを備忘メモで纏めておきたいと思います。 それではまいります。 Azure Databricksの特徴量ストア機能とは 特徴量ストア...
Azure Databricks「Apache Spark: A Unified Engine for Big Data Processing」の日本語要約
こんばんは。ここ数日Databricks社が公開する論文や公開記事を追いかけています。 今日は、2016年11月に公開された「Apache Spark: A Unified Engine for Big Data Pro...
資格取得【2023年最新版】Microsoft Cybersecurity Architect Expert資格 (SC-100)を1週間で取得した話。勉強方法は？取ってよかった？
こんにちは。今日はひさびさAzure資格に関する記事です。 Azure系の資格は、2020年の7月頃にまとめてとっていたのですが、最近みると新しい資格がいくつかでてきていたので、追加で取得してみていますので、そのメモを残...
Azure Databricks論文「Accelerating the Machine Learning Lifecycle with MLflow」の日本語要約
こんばんは。ここ数日Databricks社が公開する論文を追いかけています。 今日は、2023年8月に公開された「Accelerating the Machine Learning Lifecycle with MLfl...
Azure Databricks論文「Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics」の日本語要約
こんにちは。今日は、Databricks社が発表したLakhouseアーキテクチャの論文を日本語で要約しながら読んでみたので、メモを残しておきます。なお、翻訳と要約にはChatGPTを利用しています。 Lakehouse...
Azure DatabricksAzure DatabricksでUnity Catalogを利用して機械学習モデルを構築してみた
こんにちは。最近はDatabricksの勉強をしていて、関連記事の投稿が増えてきました・・ 今日は、前から気になってた、Databricksを使った機械学習のモデル開発についての理解を深めてみたいと思います。 以下の記事...
Azure DatabricksAzure DatabricksのUnity Catalogを利用してテーブルのアクセス制御を行う
こんばんは。今日は、Azure DatabricksのUnity Catalogを利用してテーブルのアクセス制御を行う方法を試してみたので、備忘メモとして残しておこうと思います。 なお、Databricksでは、いろいろ...
Azure DatabricksAzure DatabricksでUnity Catalogを利用してテーブル・ボリュームを作成する
こんばんは。今回は、前回のUnity Catalogメタストア作成に引き続き、Azure DatabricksでUnity Catalogを利用したテーブル・ボリューム作成を試してみましたので、備忘メモを残しておきます。...
Azure DatabricksAzure DatabricksのUnity Catalogメタストアを作成してみた
こんにちは。今日は、Azure DatabricksのUnitiy Catalogメタストアを作成する方法を試してみたので備忘メモしておきます。それではまいります。 Unitiy Catalog用のADLS Gen2コン...
Azure DatabricksAzure DatabricksでUnity Catalogが作成できない！？
こんばんは、今日はAzure Databricksで躓いた点があったのでメモを残しておきます。 問題 Azure DatabricksでUnity Catalogを作成しようとしたのだが、作成するボタンがどこにもみあたら...
PythonpipでインストールしたモジュールをJupyterで使おうとするとModule Not Foundエラーが出る
こんばんは。今日Pipまわりで少しつまづいたことがあったので、備忘メモを残しておきます。 問題 WindowsマシンにAnacondaをインストールしてJupyter Notebookを使っていますが、Condaコマンド...
PythonPythonでパラメータ化クエリを利用してSQLインジェクション攻撃を防ぐ
こんにちは。 今日は、Pythonで書いたアプリケーションでSQLインジェクション攻撃対策の一般的な手法であるパラメータ化クエリを利用する方法を試してみたので、メモを残しておきます。 （社会人一年目の研修で習ったきりで、...
API ManagementAzure API Managementの参照アーキテクチャパターン
こんにちは。今日は、Azure API Managementの参照アーキテクチャパターン（主にセキュリティの観点）について調べてみたので、分かったことをメモしておきたいと思います。 それではまいります。 なお、すべてのア...
Application GatewayAzure Application Gatewayを使ってSQLインジェクション攻撃を検知・遮断できるか試してみた
こんばんは。今日は、Azure Application Gatewayについて前から気になっていたことを実験してみましたので、メモを残しておこうと思います。 やりたいこと SQLインジェクションといったアプリケーションレ...
BI【Power BI】XMLAエンドポイントを利用してPower BIデータセットを更新する
こんにちは。今日はPower BIのデータセットを外部から更新する方法である、XMLAエンドポイント経由での更新を試してみたので、備忘メモを残しておきたいと思います。 XMLAエンドポイントを利用すると、データセット全体...
Profile
初めまして。
東京で働くデータ分析屋兼アプリケーションエンジニアです。旅行とカメラと江戸時代が趣味です。日々勉強したこと、趣味のことについて、自分の記録も兼ねて。
もともとは旅行記残そうと思って始めたブログですが、いつのまにか技術の話ばっかりに・・
＊記事はすべて個人の見解で、かつ記載時点の情報に基づいています。
