Snowflake

Snowflake クラスタリング解説

Data&AIプラットフォーム部所属の福濵です。2023年に入社しSnowflakeについて基礎から勉強しています。 Snowflakeには、プルーニングというデータ参照のパフォーマンスを向上させる機能があります。これは、テーブルデータを格納しているマイクロパーティシ…

Snowflake Summit 2024 Day 4 (最終日) 現地レポート

日本ビジネスシステムズでデータエンジニアをしてる土井です。 本日もData Cloud Summit 2024に現地参加してまいりました。 最終日ということで名残惜しい気持ちもありますが、最後まで張り切ってイベント内容をお伝えしていきたいと思います。 ※昨日までの…

Snowflake Summit 2024 Day 3 現地レポート

こんにちは、Csol本部 Data and AI Platform部の岩間です! 本日も1,2日目に引き続きサンフランシスコにてSnowflake Summit 2024に現地参加してきました。印象に残った点などをレポートしていきます! ※昨日までの分のレポート記事はこちら。 Snowflake Summ…

Snowflake Summit 2024 Day 2 現地レポート

日本ビジネスシステムズでデータエンジニアをしてる土井です。 昨日レポート記事を書いた岩間と共に、私もサンフランシスコで行われるData Cloud Summit 2024に現地参加しております。 本日も現地からイベントの様子をお伝えしていきたいと思います。 ※昨日…

Snowflake Summit 2024 Day 1 現地レポート

こんにちは、Csol本部 Data and AI Platform部の岩間です! 現在私は6/3~6/6の期間でアメリカ サンフランシスコで開催されるSnowflake社の年次イベント、Data Cloud Summit 2024に現地参加しています。 JBSとしては昨年に引き続き2年連続での参加となってお…

SnowflakeのQUALIFY句を試してみる

日本ビジネスシステムズでデータエンジニアをしてる土井です。データエンジニアとしてデータマート作成等を行う際に、SQLでデータ変換処理を実装することがあります。上記処理の実装に際して、ウィンドウ関数は非常に便利でよく利用されるオプションの一つか…

Data Factoryを使用してSnowflakeにデータをロードする

Snowflakeは、AWSやGoogle Cloud、Microsoft Azureなどのクラウドプラットフォーム上でホストされるDWHサービスです。 ストレージとコンピュートを分離したマルチクラスタ・共有データアーキテクチャや、データの一元管理が可能な高い拡張性と柔軟性を備える…

Snowflake マイクロパーティション解説

Csol本部所属の福濵です。2023年に入社しSnowflakeについて基礎から勉強しています。 本記事ではSnowflakeのマイクロパーティションの仕組みについてご紹介します。 マイクロパーティションとは 概要 データの流れ プルーニング イミュータブル(不変) Time…

Snowpipeでデータの取り込みを自動化してみた

Snowflakeに備わっているSnowpipeという機能を用いてデータベースに自動でデータを格納(ロード)する仕組みを実際に構築してみました。

Snowflakeの動的テーブルを触ってみた

本記事では、Snowflakeの動的テーブルの動作を確認します。従来ではタスクとストリームを使って実装していたリアルタイム処理が動的テーブルを使うことで簡潔に実装できるようです。

SnowflakeのMarketplaceを試してみた

こんにちは。 日本ビジネスシステムズ株式会社の岩間です。 今回はSnowflake上でMarketplace機能を用いてサードパーティー製のデータを取得する方法を紹介します。 Snowflakeをご利用中の方だけでなくSnowflakeの導入を検討中の方もぜひ、いかに手軽にサード…

SnowPro Core COF-C02 合格体験記

こんにちは。 日本ビジネスシステムズ株式会社の岩間です。 Big Data Platformをメインにとり扱う部署でLinux/Hadoop基盤の構築を主に担当してきましたが、最近はSnowflakeの運用などの業務も行うようになってきたので、それを機に今回SnowPro CoreというSno…

Snowflake Summit 2023 Day 4(最終日) 現地レポート

こんにちは、Csol HC4の原田です! 「データの価値を証明する」をモットーにデータエンジニア&マネージャーをしています。 普段もデータエンジニアとして、プロジェクトでSnowflakeを利用してお客様のデータ活用支援をしており、同ベンダーが掲げるDATA CLO…

Snowflake Summit 2023 Day 3 現地レポート

こんにちは、Csol HC4の土井です! ラスベガスに来てからかれこれ5日が経ちますが、宿泊してるホテルの一階にあるピザ屋が美味しすぎて一日も欠かさず食べています。 最初はカロリーを気にしてましたが、今はもう帰るころに何キロ増えてるか楽しみだな~ ぐ…

Snowflake Summit 2023 Day 2 現地レポート

こんにちは、Csol HC4の土井です! さて、昨日に引き続きラスベガスにてSnowflake Summit 2023に現地参加してきました。印象に残った内容についてレポートしたいと思います! ※昨日分のレポート記事はこちら。 Snowflake Summit 2023 Day 1 現地レポート - J…

Snowflake Summit 2023現地レポート(Fresh Snowトレーニング)

こんにちは、Csol HC4の原田です! 「データの価値を証明する」をモットーにデータエンジニア&マネージャーをしています。 普段もデータエンジニアとしてプロジェクトでSnowflakeを利用してお客様のデータ活用支援をしており、同ベンダーが掲げるDATA CLOUD…

Snowflake Summit 2023 Day 1 現地レポート

こんにちは、Csol HC4の土井です! 本日はラスベガスにて6/26-6/29の日程で開催されるSnowflake Summit 2023のDay 1に現地参加してきました。 会場の様子から講演の内容まで印象に残った部分を中心にレポート記事をお届けしたいと思います。 ※Snowflakeとは…

【第1回】 Snowflake データベース・スキーマ・テーブル作成

こちらの記事は、Azure BLOB StorageのデータをSnowflakeに連携しPower BIで可視化するまでの手順を解説する、計4記事に渡るシリーズものの1記事です。 【第0回】 Snowflake とは 【第1回】 データベース・スキーマ・テーブル作成 ★本記事 【第2回】 Azure~…

【第0回】 Snowflake とは

こちらの記事は、Azure BLOBのデータをSnowflakeに連携しPower BIで可視化するまでの手順を解説する、計4記事に渡るシリーズものの1記事です。 【第0回】 Snowflake とは ★本記事 【第1回】 データベース・スキーマ・テーブル作成 【第2回】 Azure~Snowflak…