データエンジニアリング

Azure Event Hubs 構築編

前回の記事において、Event Hubsの基礎的な情報をご紹介させていただきました。 blog.jbs.co.jp 今回は実際にEvent Hubsの構築および、Event Hubsへのメッセージの送信受信を行っていきます。 イベントハブ名前空間の作成 プロジェクトの詳細 インスタンスの…

Azure Event Hubs 入門編

AzureのストリーミングデータサービスであるEvent Hubsを用いると、リアルタイムなデータ分析を行うためのデータパイプラインの構築が可能となります。 本記事ではEvent Hubsの入門編と題し、Event Hubsの基本的な知識についてご紹介します。 Azure Event Hu…

SnowflakeのMarketplaceを試してみた

こんにちは。 日本ビジネスシステムズ株式会社の岩間です。 今回はSnowflake上でMarketplace機能を用いてサードパーティー製のデータを取得する方法を紹介します。 Snowflakeをご利用中の方だけでなくSnowflakeの導入を検討中の方もぜひ、いかに手軽にサード…

【Informatica】マッピングの基本 - ETL (Extract/Transform/Load)処理 -

Informatica のマッピングはETL処理の方法を設計する、Cloud Data Integration の中に含まれる一つの機能です。本記事では、マッピングの設定を、実際のデータ加工のシナリオと合わせて説明しています。

SnowPro Core COF-C02 合格体験記

こんにちは。 日本ビジネスシステムズ株式会社の岩間です。 Big Data Platformをメインにとり扱う部署でLinux/Hadoop基盤の構築を主に担当してきましたが、最近はSnowflakeの運用などの業務も行うようになってきたので、それを機に今回SnowPro CoreというSno…

【Informatica】接続(Connector)の設定 : Azure Data Lake Storage Gen2 の場合

本記事は、Informatica 社の提供するInformatica Intelligent Cloud Service で、CSVファイルなどのファイルを蓄積する、クラウドストレージサービスの「Azure Data Lake Storage Gen2」に対する接続(Connector)の設定方法について説明します。

Snowflake Summit 2023 Day 4(最終日) 現地レポート

こんにちは、Csol HC4の原田です! 「データの価値を証明する」をモットーにデータエンジニア&マネージャーをしています。 普段もデータエンジニアとして、プロジェクトでSnowflakeを利用してお客様のデータ活用支援をしており、同ベンダーが掲げるDATA CLO…

Snowflake Summit 2023現地レポート(Fresh Snowトレーニング)

こんにちは、Csol HC4の原田です! 「データの価値を証明する」をモットーにデータエンジニア&マネージャーをしています。 普段もデータエンジニアとしてプロジェクトでSnowflakeを利用してお客様のデータ活用支援をしており、同ベンダーが掲げるDATA CLOUD…

【Informatica】接続(Connector)の設定 Snowflakeの場合

はじめに 接続(Connector) 接続(Connector)の作成 Snowflake の環境 アドオンコネクタの利用開始 接続(Connector)の設定 「接続の詳細」の設定 「Snowflake Data Cloud Properties」の設定 「Connection Section」の設定 設定内容の確認 おわりに はじめに I…

【Informatica】Secure Agent 構築 (Linux OS)

本記事は、Informatica 社の提供するInformatica Intelligent Cloud Service で定義したデータの処理を実行するコンポーネントである、「Secure Agent」の構築の記事となっています。