Azure Data Factory

Azure Data Factoryを使用してSnowflakeにデータをロードする

Snowflakeは、AWSやGoogle Cloud、Microsoft Azureなどのクラウドプラットフォーム上でホストされるDWHサービスです。 ストレージとコンピュートを分離したマルチクラスタ・共有データアーキテクチャや、データの一元管理が可能な高い拡張性と柔軟性を備える…

データエンジニアリング初学者の学習記録(後編 実践)

データエンジニアリング初学者の学習記録として、データエンジニアリングの概要から実践までの内容をまとめています。 今回は後編として、Azure Data Factoryの実装手順やパイプラインについてご紹介します。

データエンジニアリング初学者の学習記録(前編 データエンジニアリングとは何か?)

本記事では、データエンジニアリング初学者の学習記録として、データエンジニアリングの概要から実践までの内容をまとめています。 今回は前編として、データエンジニアリングおよびAzure Data Factoryについてご紹介します。

Azure Data Factoryを利用して、エラーが発生したときにメールで通知する

Azure Data Factoryとは、Azure上で提供されるデータの移動や変換処理を自動化することができるデータ統合管理サービスです。 今回は、Azure Data Factoryを使ったデータ処理の過程でエラーが発生した場合に、Azure Logic Apps*1を使用して、メールを送る方…

Data Factoryでルックアップアクティビティを使用して0Byteファイルをチェックする

Data Factoryのルックアップアクティビティでは、構成ファイルやテーブルの内容や、クエリやストアドプロシージャの実行結果などをオブジェクトとして動的に出力することが出来ます。 本記事では、ルックアップアクティビティを使用して、取り込んだファイル…

Azure Data Factoryでパイプラインにストレージイベントトリガーを実装する

前回の記事では、Azure Data Factoryにてパラメーター化されたデータパイプラインを作成し、実行する方法を解説しました。 前回、パイプライン実行は「今すぐトリガー」によって手動で行っていました。 今回は、パイプラインにストレージイベントトリガーを…

【Azure Data Factory】セルフホステッド統合ランタイムを構成する

業務で Azure Data Factory を使用することがあり、セルフホステッド統合ランタイム環境の構築手順について記載しました。

Azure Data Factoryでのデータコピーをパラメーター化する

Azure Data Factoryでのデータコピーをパラメーター化する方法をまとめました。

Data Factoryを使用してAzure Blob StorageからAzure SQL Databaseにデータをコピーする

簡単なデータコピー処理の実装方法をまとめてみました。