Snowflake
Snowflakeは、AWSやGoogle Cloud、Microsoft Azureなどのクラウドプラットフォーム上でホストされるDWHサービスです。 ストレージとコンピュートを分離したマルチクラスタ・共有データアーキテクチャや、データの一元管理が可能な高い拡張性と柔軟性を備える…
Csol本部所属の福濵です。2023年に入社しSnowflakeについて基礎から勉強しています。 本記事ではSnowflakeのマイクロパーティションの仕組みについてご紹介します。 マイクロパーティションとは 概要 データの流れ プルーニング イミュータブル（不変） Time…
Snowflakeに備わっているSnowpipeという機能を用いてデータベースに自動でデータを格納（ロード）する仕組みを実際に構築してみました。
本記事では、Snowflakeの動的テーブルの動作を確認します。従来ではタスクとストリームを使って実装していたリアルタイム処理が動的テーブルを使うことで簡潔に実装できるようです。
こんにちは。 日本ビジネスシステムズ株式会社の岩間です。 今回はSnowflake上でMarketplace機能を用いてサードパーティー製のデータを取得する方法を紹介します。 Snowflakeをご利用中の方だけでなくSnowflakeの導入を検討中の方もぜひ、いかに手軽にサード…
こんにちは。 日本ビジネスシステムズ株式会社の岩間です。 Big Data Platformをメインにとり扱う部署でLinux/Hadoop基盤の構築を主に担当してきましたが、最近はSnowflakeの運用などの業務も行うようになってきたので、それを機に今回SnowPro CoreというSno…
こんにちは、Csol HC4の原田です！ 「データの価値を証明する」をモットーにデータエンジニア＆マネージャーをしています。 普段もデータエンジニアとして、プロジェクトでSnowflakeを利用してお客様のデータ活用支援をしており、同ベンダーが掲げるDATA CLO…
こんにちは、Csol HC4の土井です！ ラスベガスに来てからかれこれ5日が経ちますが、宿泊してるホテルの一階にあるピザ屋が美味しすぎて一日も欠かさず食べています。 最初はカロリーを気にしてましたが、今はもう帰るころに何キロ増えてるか楽しみだな～ ぐ…
こんにちは、Csol HC4の土井です！ さて、昨日に引き続きラスベガスにてSnowflake Summit 2023に現地参加してきました。印象に残った内容についてレポートしたいと思います！ ※昨日分のレポート記事はこちら。 Snowflake Summit 2023 Day 1 現地レポート - J…
こんにちは、Csol HC4の原田です！ 「データの価値を証明する」をモットーにデータエンジニア＆マネージャーをしています。 普段もデータエンジニアとしてプロジェクトでSnowflakeを利用してお客様のデータ活用支援をしており、同ベンダーが掲げるDATA CLOUD…
こんにちは、Csol HC4の土井です！ 本日はラスベガスにて6/26-6/29の日程で開催されるSnowflake Summit 2023のDay 1に現地参加してきました。 会場の様子から講演の内容まで印象に残った部分を中心にレポート記事をお届けしたいと思います。 ※Snowflakeとは…
こちらの記事は、Azure BLOB StorageのデータをSnowflakeに連携しPower BIで可視化するまでの手順を解説する、計4記事に渡るシリーズものの1記事です。 【第0回】 Snowflake とは 【第1回】 データベース・スキーマ・テーブル作成 ★本記事 【第2回】 Azure～…
こちらの記事は、Azure BLOBのデータをSnowflakeに連携しPower BIで可視化するまでの手順を解説する、計4記事に渡るシリーズものの1記事です。 【第0回】 Snowflake とは ★本記事 【第1回】 データベース・スキーマ・テーブル作成 【第2回】 Azure～Snowflak…
