【Microsoft Azure】Azure Synapse Analyticsでできることを理解する

こんばんは。今日は、これまでずっと興味のあったAzure Synapse Analyticsについて、勉強してみる夜にしようと思います。

MicrosoftのAzure系資格は一通り取ったのですが、そういえばこの辺りのビッグデータ周りはあまり深くは学ばなかったような・・・（記憶が飛んでいるだけかなぁ笑）

というわけでは、まずは、概要をしっかりと整理しておこうと思います。将来の自分への備忘も兼ねたメモとしたいと思います。

なお、以下は私が公式ドキュメントを読んだりして理解した内容として書いていますので、正確でない場合もあるかと思います。その際には、コメント等でご指摘をいただけますと幸いです＞＜

（内容は工事中で、順次拡張予定です）

Contents

Azure Synapse Analyticsとは？

Microsoftの方がまとめたこのスライドが参考にできそうです。

Azure Synapse Analytics Overview (r1) from James Serra

まずAWSです。Synpaseはいろいろな機能があつまったサービスなので、AWS上だと機能ごとにRedShiftやAuroraDB, Athenaなど複数のサービスが対応しているようです。

続いてGCP。こちらもBig QueryとCloud Fusionなど複数のサービスが対応しているようです。

なんか一部本当かなぁという感じですが（Amazon Redshiftは2004年にはなかったはず・・？）、世界でみると、この領域の製品だと、直近ではAWS ≒ GCP > Azureの順のトレンドになっていそうです。まあ、あくまで参考値程度ということで。

AWSとGoogleのトレンドが数年前にがくっとおちているのは不思議ですね。なにかあったかな・・。

Azure Synapse Analyticsは、以下の要素で構成されています。

Transact-SQLを実行しているサーバのコレクション。具体的には、分散クエリをサポートするAzure SQL Database上で実行されている。
プール内のサーバは、制御ノードと計算ノードに役割が分かれている。
Transact-SQLを制御ノードに渡すと、データのサブセット（ディストリビューション）に対して動作するクエリを生成して、複数の計算ノードに渡し、並列計算する。
制御ノードと計算ノードはデータ移動サービス（DMS）を利用して、必要に応じて複数のノード間でデータのやり取りを行う。
処理中のデータはAzure Storage上で管理される。
Synapse Analyticsでは、規定でオンデマンドのSQLプールが用意され、必要に応じて追加のプールをプロビジョニング可能。

CosmosDBなどのAzureリソースに接続する機能。以下、CosmosDBに接続した場合・・・
CosmosDBのデータに対してリアルタイムの分析が可能になる
CosmosDB上（正確には分析ストア上）で実行するため、Synapse Analytics上にデータが残らない。このためSynapse上でETLを組む必要がない。
CosmosDBのCosmosDB分析ストアという機能を利用する
この分析ストアでは、CosmosDBコンテナデータのコピーが存在するが、列ストアとして分析に最適化されている
ワークロードはCosmosDB分析ストア上で実行されるため、CosmosDB自体のワークロードへ影響しない。
リアルタイムの可視化や分析を行いたい場合には最適か。