BigQuery初心者がデータ分析を始めてみた【第3回】公開データセットとパーティション分割

BigQueryには公開データセットが用意されており、無料で大規模データを分析できます。また、パーティション分割を活用することで、スキャン量とコストを大幅に削減できます。

本記事では、Google Trendsのデータセットを使って、これらの応用機能を実際に体験していきます。

はじめに
公開データセットへのアクセス
- アクセス手順
- テーブル構造の確認
パーティション分割テーブルの活用
その他のBigQuery独自機能
クエリコストの確認方法
まとめ

はじめに

【第1回】ではネイティブテーブルの作成とクエリ実行、【第2回】ではネイティブテーブルと外部テーブルの使い分けを学びました。

第3回では、より大規模なデータでBigQuery独自の機能を試していきます。

公開データセットへのアクセス

BigQueryには公開データセットが用意されており、無料で大量データを分析できます。今回はGoogle Trendsのデータセットを使ってみます。

アクセス手順

BigQueryのホーム画面には、「テンプレートを使って試す」というセクションがあります。

「Google トレンドのデモクエリを試す」から「データセットを表示」を選択します。

Google Trendsデータセットの詳細ページが表示されます。「データセットを表示」を選択します。

エクスプローラーにbigquery-public-dataプロジェクトが追加されます。

テーブル構造の確認

google_trendsデータセットを展開すると、以下のようなテーブルが確認できます。

international_top_terms - 国別のTop 25検索キーワード
international_top_rising_terms - 国別の急上昇キーワード

international_top_rising_termsテーブル構造を確認してみます。主なカラムは以下の通りです。

country_name: 国名
country_code: 国コード(例: JP)
region_name: 地域名
term: 検索キーワード
week: 週(日付)
score: 人気度スコア
rank: ランキング
refresh_date: データ更新日

パーティション分割テーブルの活用

Google Trendsのテーブルは日付によるパーティション分割が設定されています。実際にクエリを実行して、パーティション分割の効果を確認してみます。

パーティションを使わないクエリ

まず、パーティションを使わないクエリを実行します。

-- パーティションフィルタなし
SELECT
  term,
  SUM(score) as total_score
FROM `bigquery-public-data.google_trends.international_top_terms`
WHERE country_code = 'JP'
GROUP BY term
ORDER BY total_score DESC
LIMIT 10

パーティションを使ったクエリ

次に、パーティションフィルタ(日付条件)を追加したクエリを実行します。

-- パーティションフィルタあり
SELECT
  term,
  SUM(score) as total_score
FROM `bigquery-public-data.google_trends.international_top_terms`
WHERE country_code = 'JP'
  AND refresh_date >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY term
ORDER BY total_score DESC
LIMIT 10