前回の記事において、Event Hubsの基礎的な情報をご紹介させていただきました。 blog.jbs.co.jp 今回は実際にEvent Hubsの構築および、Event Hubsへのメッセージの送信受信を行っていきます。 イベントハブ名前空間の作成 プロジェクトの詳細 インスタンスの…

AzureのストリーミングデータサービスであるEvent Hubsを用いると、リアルタイムなデータ分析を行うためのデータパイプラインの構築が可能となります。 本記事ではEvent Hubsの入門編と題し、Event Hubsの基本的な知識についてご紹介します。 Azure Event Hu…

こんにちは。 日本ビジネスシステムズ株式会社の岩間です。 今回はSnowflake上でMarketplace機能を用いてサードパーティー製のデータを取得する方法を紹介します。 Snowflakeをご利用中の方だけでなくSnowflakeの導入を検討中の方もぜひ、いかに手軽にサード…

Informatica のマッピングはETL処理の方法を設計する、Cloud Data Integration の中に含まれる一つの機能です。本記事では、マッピングの設定を、実際のデータ加工のシナリオと合わせて説明しています。

こんにちは。 日本ビジネスシステムズ株式会社の岩間です。 Big Data Platformをメインにとり扱う部署でLinux/Hadoop基盤の構築を主に担当してきましたが、最近はSnowflakeの運用などの業務も行うようになってきたので、それを機に今回SnowPro CoreというSno…

本記事は、Informatica 社の提供するInformatica Intelligent Cloud Service で、CSVファイルなどのファイルを蓄積する、クラウドストレージサービスの「Azure Data Lake Storage Gen2」に対する接続(Connector)の設定方法について説明します。

こんにちは、Csol HC4の原田です！ 「データの価値を証明する」をモットーにデータエンジニア＆マネージャーをしています。 普段もデータエンジニアとして、プロジェクトでSnowflakeを利用してお客様のデータ活用支援をしており、同ベンダーが掲げるDATA CLO…

こんにちは、Csol HC4の原田です！ 「データの価値を証明する」をモットーにデータエンジニア＆マネージャーをしています。 普段もデータエンジニアとしてプロジェクトでSnowflakeを利用してお客様のデータ活用支援をしており、同ベンダーが掲げるDATA CLOUD…

はじめに 接続(Connector) 接続(Connector)の作成 Snowflake の環境 アドオンコネクタの利用開始 接続(Connector)の設定 「接続の詳細」の設定 「Snowflake Data Cloud Properties」の設定 「Connection Section」の設定 設定内容の確認 おわりに はじめに I…

本記事は、Informatica 社の提供するInformatica Intelligent Cloud Service で定義したデータの処理を実行するコンポーネントである、「Secure Agent」の構築の記事となっています。