データエンジニアリング

AWS Certified Data Engineer - Associate(DEA-C01)合格記

本記事では、AWS Certified Data Engineer - Associate資格を取得する方法について詳しく解説します。データモデルの設計からデータライフサイクルの管理、データ品質の確保、データパイプラインのオーケストレーションまで、試験範囲や学習方法、実際の受験…

Azure Stream Analytics 構築編

前回の記事において、Stream Analyticsの基礎的な情報をご紹介させていただきました。 今回は実際にStream Analytics ジョブの作成およびデータ連携を行っていきます。 シナリオ Stream Analytics ジョブ作成 プロジェクトの詳細 インスタンスの詳細 ストリ…

DP-203(Azure Data Engineer Associate)に合格しました

MicrosoftのDP-203試験(Azure Data Engineer Associate)に合格したので、勉強内容などをまとめました。

データエンジニアリング初学者の学習記録(後編 実践)

データエンジニアリング初学者の学習記録として、データエンジニアリングの概要から実践までの内容をまとめています。 今回は後編として、Azure Data Factoryの実装手順やパイプラインについてご紹介します。

データエンジニアリング初学者の学習記録(前編 データエンジニアリングとは何か?)

本記事では、データエンジニアリング初学者の学習記録として、データエンジニアリングの概要から実践までの内容をまとめています。 今回は前編として、データエンジニアリングおよびAzure Data Factoryについてご紹介します。

Azure Event Hubs 構築編

前回の記事において、Event Hubsの基礎的な情報をご紹介させていただきました。 blog.jbs.co.jp 今回は実際にEvent Hubsの構築および、Event Hubsへのメッセージの送信受信を行っていきます。 イベントハブ名前空間の作成 プロジェクトの詳細 インスタンスの…

Azure Event Hubs 入門編

AzureのストリーミングデータサービスであるEvent Hubsを用いると、リアルタイムなデータ分析を行うためのデータパイプラインの構築が可能となります。 本記事ではEvent Hubsの入門編と題し、Event Hubsの基本的な知識についてご紹介します。 Azure Event Hu…

Snowflake Summit 2023 Day 4(最終日) 現地レポート

こんにちは、Csol HC4の原田です! 「データの価値を証明する」をモットーにデータエンジニア&マネージャーをしています。 普段もデータエンジニアとして、プロジェクトでSnowflakeを利用してお客様のデータ活用支援をしており、同ベンダーが掲げるDATA CLO…

Snowflake Summit 2023現地レポート(Fresh Snowトレーニング)

こんにちは、Csol HC4の原田です! 「データの価値を証明する」をモットーにデータエンジニア&マネージャーをしています。 普段もデータエンジニアとしてプロジェクトでSnowflakeを利用してお客様のデータ活用支援をしており、同ベンダーが掲げるDATA CLOUD…