データエンジニアリング
MicrosoftのDP-203試験(Azure Data Engineer Associate)に合格したので、勉強内容などをまとめました。
データエンジニアリング初学者の学習記録として、データエンジニアリングの概要から実践までの内容をまとめています。 今回は後編として、Azure Data Factoryの実装手順やパイプラインについてご紹介します。
本記事では、データエンジニアリング初学者の学習記録として、データエンジニアリングの概要から実践までの内容をまとめています。 今回は前編として、データエンジニアリングおよびAzure Data Factoryについてご紹介します。
以前「Azure Synapse AnalyticsのPipeline機能を使ってみた」というテーマで記事を作成したのですが、その際に以下のようなエラーに遭遇しました。 このエラーの解消は少し分かりづらく、対処法が分からない方もいらっしゃるかと思ったため、今回はこのエラ…
この記事は2記事に渡るシリーズもので、Azure Synapse AnalyticsのPipeline機能（以下Synapse Pipeline）を用いて、Azure Data Lake Storage（以下ADLS）上のExcelファイルをAzure Synapse 専用SQLプール（以下専用SQLプール）にテーブルとしてロードする手…
これから2記事に渡りAzure Synapse AnalyticsのPipeline機能（以下Synapse Pipeline）を用いて、Azure Data Lake Storage Gen2（以下ADLS）上のエクセルファイルをAzure Synapse 専用SQLプール（以下専用SQLプール）にテーブルとしてロードする手順を紹介し…
前回の記事において、Event Hubsの基礎的な情報をご紹介させていただきました。 blog.jbs.co.jp 今回は実際にEvent Hubsの構築および、Event Hubsへのメッセージの送信受信を行っていきます。 イベントハブ名前空間の作成 プロジェクトの詳細 インスタンスの…
AzureのストリーミングデータサービスであるEvent Hubsを用いると、リアルタイムなデータ分析を行うためのデータパイプラインの構築が可能となります。 本記事ではEvent Hubsの入門編と題し、Event Hubsの基本的な知識についてご紹介します。 Azure Event Hu…
こんにちは。 日本ビジネスシステムズ株式会社の岩間です。 今回はSnowflake上でMarketplace機能を用いてサードパーティー製のデータを取得する方法を紹介します。 Snowflakeをご利用中の方だけでなくSnowflakeの導入を検討中の方もぜひ、いかに手軽にサード…
こんにちは。 日本ビジネスシステムズ株式会社の岩間です。 Big Data Platformをメインにとり扱う部署でLinux/Hadoop基盤の構築を主に担当してきましたが、最近はSnowflakeの運用などの業務も行うようになってきたので、それを機に今回SnowPro CoreというSno…
こんにちは、Csol HC4の原田です！ 「データの価値を証明する」をモットーにデータエンジニア＆マネージャーをしています。 普段もデータエンジニアとして、プロジェクトでSnowflakeを利用してお客様のデータ活用支援をしており、同ベンダーが掲げるDATA CLO…
こんにちは、Csol HC4の原田です！ 「データの価値を証明する」をモットーにデータエンジニア＆マネージャーをしています。 普段もデータエンジニアとしてプロジェクトでSnowflakeを利用してお客様のデータ活用支援をしており、同ベンダーが掲げるDATA CLOUD…
