【Microsoft Fabric】パイプラインでストアドプロシージャを実行する方法を解説

前回の記事では、ストアドプロシージャの概要とMicrosoft Fabric Notebook(以下、Notebook)の作成手順、Notebook上でストアドプロシージャを作成する方法について説明しました。

本記事では、Microsoft Fabric Pipeline(以下、パイプライン)でストアドプロシージャを実行する方法について解説します。

本記事の想定読者

  • SQLによるデータ処理に興味がある方
  • ストアドプロシージャを活用したい方
  • パイプラインを活用したい方

前提

パイプラインの概要

パイプラインは、データ処理の一連の流れを定義し、それらを自動的に実行・管理する役割を担います。

Dataflow Gen2やNotebookなどで定義された個々のデータ処理は、「アクティビティ」としてパイプライン上で管理・実行されます。

パイプラインの操作方法

パイプラインの作成方法

ここでは、パイプラインの作成方法を説明します。

まず、以下の手順でパイプラインのアイテムを作成します。

  1. ワークスペース画面左上の「新しい項目」をクリックします。
  2. 表示されたメニューから「パイプライン」を選択します。

以下の手順でパイプライン名を指定します。

  1. パイプラインの名前を入力します。
  2. 「作成」を押します。

これでパイプラインのアイテムを作成することができました。

パイプラインにストアドプロシージャを組み込む方法

パイプラインが作成されると、自動的に該当のアイテム開かれます。

以下の手順で、パイプラインにストアドプロシージャのアクティビティを追加します。

  1. 「パイプライン アクティビティ...」と表示されている箇所をクリックします。
  2. 検索ボックスが表示されるので、「ストアド」と入力します。
  3. 表示される「ストアドプロシージャ」を選択します。

ストアドプロシージャがパイプラインに追加されると、以下のような画面になります。

これで、ストアドプロシージャをパイプラインに組み込むことができました。

実行するストアドプロシージャの指定

最初に、そのアクティビティが実行する処理を明示するために、以下の手順でアクティビティに名前を設定します。

  1. 追加したアクティビティを選択します。
  2. 「全般」タブを選択します。
  3. 「名前」に適切な名前を入力します。今回実行するストアドプロシージャは日付情報を取得する処理なので、「get_date_info」とします。

続いて、呼び出すストアドプロシージャを選択します。

  1. 「設定」タブを開きます。
  2. 「接続」をクリックします。
  3. 「すべて参照」をクリックします。

以下のようなポップアップが表示されるので、呼び出したいストアドプロシージャが保存されているウェアハウスを選択します。

ウェアハウスを選択すると、ポップアップが閉じて元の画面に戻ります。

以下の手順で、ウェアハウスの中からパイプラインに組み込みたいストアドプロシージャを選択します。

  1. 「接続」に先ほど選択したウェアハウスが表示されていることを確認します。
  2. 「ストアドプロシージャ名」のドロップダウンをクリックします。
  3. ウェアハウスに保存されているストアドプロシージャが一覧表示されるので、使用したいものを選択します。

これで、実行するストアドプロシージャを指定することができました。

パイプラインの実行

続いて、実際にパイプラインを実行します。

パイプラインの実行方法には、手動で実行する方法と定期実行の2種類があります。

手動実行

手動実行は、ユーザーの好きなタイミングでパイプラインを実行することができます。

以下の手順で実行します。

  1. 最初に、これまで行った作業を保存します。
  2. 「実行」ボタンを押し、パイプラインを実行します。

パイプラインが実行されると、下のタブに実行状況が表示されます。

ここで、実行開始日時、実行時間などを見ることができます。

実行が完了するとステータスが変わり、アクティビティがエラー無く完了すると「成功」と表示されます。

定期実行

定期実行は、特定の頻度、特定の時間に自動でパイプラインを実行します。

パイプラインを定期実行するには、以下の手順でスケジュールを設定する必要があります。

  1. 「スケジュール」をクリックします。
  2. 右側に詳細画面が表示されるので、「スケジュールの追加」をクリックします。

以下の項目を設定します。

  1. 実行頻度:今回は毎日12:00に実行するように設定します。
  2. 開始日時と終了日時:定期実行を有効にしたい期間を設定します。
  3. タイムゾーン:基準としたいタイムゾーンを設定します。
  4. 上記の項目を設定したら、「保存」をクリックします。

設定が保存され、定期実行が有効になりました。赤枠内右上のボタンで定期実行の有効化と無効化を設定できます。

パイプラインの実行履歴の確認

実行履歴の確認は以下のように行います。

  1. 「実行履歴の表示」をクリックします。
  2. 右に実行履歴の一覧が表示されます。

この画面で、定期実行が正常に実行されているか確認することができます。

まとめ

本記事では、Microsoft Fabricでのパイプラインの作成方法と、パイプラインからストアドプロシージャを実行する方法を紹介しました。

パイプラインを利用することで、コードで定義したデータ処理を自動実行でき、処理の流れを一元的に管理することが可能になります。

パイプラインやストアドプロシージャを活用し、データ処理の自動化や運用の効率化に役立てていただければ幸いです。

執筆担当者プロフィール
森 一輝

森 一輝(日本ビジネスシステムズ株式会社)

クラウドテクノロジーサービス事業本部 Data&AIプラットフォーム部Dataソリューション1グループ所属。Microsoft Fabricを中心に扱っています。趣味は旅行です。

担当記事一覧