Azure DatabricksのLakehouse Federationを用いたSnowflake連携方法

本投稿はAzure DatabricksのUnity Catalog上でSnowflakeのデータベースを登録し、データ参照するためのLakehouse Federation有効化の手順について説明します。

※ なお、本記事は、Azure Databricksをある程度使い慣れている方向けに書いていますので、Azure Databricksの概要や用語の解説は割愛しています。

Snowflakeとの連携を設定するために、下記のリソースを作成します。

接続(CONNECTION)
- 外部データベースシステムにアクセスするためのパスと資格情報を指定するためのリソース
外部カタログ(FOREIGN CATALOG)
- 外部データシステム内のデータベースをミラーリングし、Azure Databricks と Unity Catalog を使ってそのデータベース内のデータに対するクエリの実行とアクセス管理ができるようにするためのリソース

今回の構成に必要なDatabricksの構成要件は下記の通りです。

ワークスペース
- Unity Catalogが有効化されていること
コンピューティング
- Databricks クラスター/SQLウェアハウスから対象データベースシステムへのネットワーク接続。
クラスタを使用する場合の要件
- Runtimeは13.1以降。
- Unity Catalogをサポートするクラスタモードの利用(共有またはシングルユーザーアクセスモード)
- 参考URL: クラスタのアクセスモード
SQLウェアハウスを使用する場合の要件
- Pro またはサーバーレスSQLウェアハウスの利用
作成に必要な権限
- 接続を作成するために必要なUnity Catalogの権限
  - CREATE CONNECTION権限
- 外部カタログを作成のために必要なUnity Catalogの権限
  - CREATE FOREIGN CATALOG権限 (またはCREATE CATALOG権限と外部接続のOWNERSHIP権限)

ここからは実際にLakehouse Federationを有効化する手順をご紹介します。

カタログエクスプローラより「接続」を選択し「接続を作成」を押下します。

新しい接続を作成」の各項目を入力し「接続のテスト」を押下します。

項目名	設定値
接続名	任意の接続名
接続タイプ	Snowflake
ユーザー	Snowflakeで使用するユーザー名
パスワード	Snowflakeで使用するユーザーパスワード
ホスト	Snowflake側のホスト例: `xxxxx.ap-northeast-1.aws.snowflakecomputing.com`
Snowflakeウェアハウス	Snowflakeユーザーが使用するウェアハウス