日本ビジネスシステムズでデータエンジニアをしてる土井です。
本日もData Cloud Summit 2024に現地参加してまいりました。
最終日ということで名残惜しい気持ちもありますが、最後まで張り切ってイベント内容をお伝えしていきたいと思います。
※昨日までの分のレポート記事はこちら。
Snowflake Summit 2024 Day 1 現地レポート - JBS Tech Blog
Snowflake Summit 2024 Day 2 現地レポート - JBS Tech Blog
Snowflake Summit 2024 Day 3 現地レポート - JBS Tech Blog
- Under the Hood of Hybrid Tables, AD306
- Hands-on-Lab: Experience a New Horizon for Intra-Company Collaboration, CO219
- Summit2024振り返りセッション
- おわりに
Under the Hood of Hybrid Tables, AD306
タイトルの通りHybrid Tables (Unistore) に関する解説セッションです。
スピーカーはSnowflakeのシニアパフォーマンスエンジニアの方です。セッション開始冒頭で当人も言っていましたが、なかなかにDeep Diveな内容でした。
メモと聞き取れた範囲で、セッションのアウトラインを紹介していきたいと思います。
- リレーショナルデータベースと分析用データベースが異なるものとして実装されていることで、セキュリティ、コスト、パフォーマンス、ガバナンスなどの観点で様々な弊害がある
- これら両方のワークロードを効率的に処理するためにHybrid tablesが生まれ、これによりSnowflakeの単一プラットフォーム上でリレーショナル、分析両方のユースケースを実現できるようになる
- Hybrid Tablesは従来のテーブルとストレージ部分の実装が異なっており、いわゆるS3やAzure Blobのようなオブジェクトストレージではなく、NVMe接続のSSDに対して読み書きを行う
- これにより、HTAPやOLTPのような低レイテンシのユースケースを実現できる
- SSDが接続されたVMにFoundation DBというオープンソースのKVSが動いている
- Foundation DB自体は非常に信頼性の高いアーキテクチャだが、クラウドネイティブではないため、Snowflakeのデータストアとして利用するにあたり、クラウドストレージへのバックアップやメタデータの遅延同期など、いくつかのカスタマイズを加えた
以上のような形で、非常にDeep Diveかつ興味深い内容でした。
SaaSプロダクトのバックエンドの仕組みを知ることが出来る機会はなかなかないので、そういった意味でも実際の開発エンジニアから話を聞ける貴重な体験でした。
Hands-on-Lab: Experience a New Horizon for Intra-Company Collaboration, CO219
Snowflake Horizonのハンズオンです。
上記機能を学ぶため、POSと天気のデータを組み合わせたデータプロダクトを、社内アカウントをターゲットとして公開する検証を実施しました。
※ちなみに本検証の題材もKeynoteで登場したお馴染みの架空のフードトラック企業であるTasty Bytesでした。
共有するオブジェクトの作成や確認のSQL操作はありつつも、ほぼSnowsight上の操作だけで、ものの数分でコンシューマーアカウントへのデータ共有ができて感激でした。
今回私が実施できたのは上記までですが、準備されていた教材自体には行アクセスポリシー／マスキングポリシーを用いたデータプライバシーの確認や、Icebergテーブルの共有なども含まれていたため、別途記事にするために検証予定です。
Summit2024振り返りセッション
全てのブレイクアウト／ハンズオンセッションの終了後は、日本法人向けの振り返りセッションがありました。コンテンツは以下の通りでした。
- 日本法人登壇者によるセッション紹介と振り返り
- Keynoteハイライト
- エグゼクティブによるパネルセッション（サプライズ）
- プロダクト発表ハイライト
- Data Superherosによるパネルディスカッション
日本法人登壇者によるセッション紹介と振り返り
まず最初に、今回のサミットで登壇した日本法人の方によるセッション紹介と振り返りがありました。
今回登壇して発表した内容の話や、登壇後に海外のサミット参加者から反響があった話などをされていました。
残念ながら今回私は間が悪く、どのセッションにも参加できなかったのですが、日本企業の取り組みがこうして世界中の人々に発信され認知されているという事実に、得も言われぬ喜びを感じていました。
Keynoteハイライト
毎年恒例 (といっても私は去年が初参加ですが…)、SnowflakeエヴァンジェリストのKTさんによるKeynoteハイライトです。
本イベントDay 1~3の各Keynoteセッションの内容サマリを紹介されていました。
サミットの楽しみ方は数あれど、私個人的には、世界中のSnowflakeユーザーが一堂に会す場でセンセーショナルな機能の発表に共に熱狂できることこそが、現地参加の一番の醍醐味だと思っています。
エグゼクティブによるパネルセッション（サプライズ）
アジェンダにはなかったのですが、Snowflakeのエグゼクティブ3名によるパネルセッションがサプライズで行われました。
事前準備または、その場で参加者から挙がった質問に答える質疑応答の形で進行しました。
Snowflakeの機能開発のベースにある思想や、パートナーに期待する役割といった話をCEOや創業者の本人から聞くことができた貴重な場でした。
特に後者の話の中で、SnowflakeをAppleのApp Storeのようなものにしていきたいとの話が興味深かったです。デベロッパー企業が開発したアプリケーションがSnowflakeのNative Apps上で販売され、一律のガバナンスの元で誰でも利用できる様は確かにAppleのApp Storeそのものです。
Snowflakeが見据える場所のスケールの大きさを、改めて感じることができました。
プロダクト発表ハイライト
会期中に発表された機能の一覧のサマリがSnowflake 松下さんから発表されました。
こうして改めて見ても本当にたくさんの数の機能が発表されましたね。
日本に帰国して何から検証しようか、悩ましい気持ちで聞いていました。
Data Superherosによるパネルディスカッション
日本のData Superheroの方々によるパネルディスカッションのパートです。
Snowflakeコミュニティのリーダーの方々から、発表内容に関する所感や考察を聞くことができました。
どの方の考察も興味深かったですが、中でもCARTA HOLDINGSのpeiさんが "AIでできることは増えても大事なことは変わらずデータの品質や整備" といった内容のことを話していて、非常に納得感がありました。
おわりに
Data Cloud Summit 2024 最終日の現地レポートをお届けしました。
改めて振り返ってみても、去年と同様に本当に情報量が多く目まぐるしい4日間でした。
まだしっかり頭の整理が追い付いてない上に、帰国してからもやることが山積みですが、いったんは明日のフライトに遅刻しないようにゆっくり休みたいと思います。
今後もSnowflakeやその他データ製品に関するブログ記事を投稿していきますので、よろしければご覧ください。それでは。
