Snowflakeは、AWSやGoogle Cloud、Microsoft Azureなどのクラウドプラットフォーム上でホストされるDWHサービスです。 ストレージとコンピュートを分離したマルチクラスタ・共有データアーキテクチャや、データの一元管理が可能な高い拡張性と柔軟性を備える…

Data Factoryのルックアップアクティビティでは、構成ファイルやテーブルの内容や、クエリやストアドプロシージャの実行結果などをオブジェクトとして動的に出力することが出来ます。 本記事では、ルックアップアクティビティを使用して、取り込んだファイル…

前回の記事では、Azure Data Factoryにてパラメーター化されたデータパイプラインを作成し、実行する方法を解説しました。 前回、パイプライン実行は「今すぐトリガー」によって手動で行っていました。 今回は、パイプラインにストレージイベントトリガーを…

Azure Data Factoryでのデータコピーをパラメーター化する方法をまとめました。

簡単なデータコピー処理の実装方法をまとめてみました。