BigQueryとは｜使う項目を1個から3個に増やすだけで、読む量が3倍になった

使う項目を1個から3個に増やすだけで、読む量が3倍になった

読む量は使う項目の数にそのまま比例します。選ぶ項目を1つ足すと、その分だけ増えます。

BigQueryの並べ方は、公式に明記されています。BigQueryは、分析の問い合わせに向けて最適化された、列ごとの保管の形式を使ってデータを保管するという記述です。

列ごとに並んでいるので、使う項目だけを読めます。どれだけの差になるかを数えました。

使う項目の数を変える

表 200,000行・1行あたり 12項目（1項目 4バイト）
集計に使う項目の数を変えて、読む量を見る

使う項目  行ごとに持つ形  列ごとに持つ形  比
1個                   9.2MB           0.8MB   12.0倍
2個                   9.2MB           1.5MB    6.0倍
3個                   9.2MB           2.3MB    4.0倍
6個                   9.2MB           4.6MB    2.0倍
12個                  9.2MB           9.2MB    1.0倍

1項目なら0.8MB、3項目なら2.3MBです。項目の数にそのまま比例します。

読む量が費用に直結する形なら、選ぶ項目を1つ足すごとに費用が上がります。

全項目を選ぶ場合

最下行が全項目です。9.2MBで、行ごとに持つ形と変わりません。

つまり全項目を選ぶ書き方は、この仕組みの利点をすべて打ち消します。1項目だけ見るつもりでも、全部を読みます。

12.0倍と1.0倍の差は、書き方1つで決まります。必要な項目を明示するかどうかだけです。

保管と計算が別々なので、片方だけ増やせる

置いておく量と、処理に使う力が別勘定になります。どちらが効いているかを分けて見られます。

BigQueryの構成は2つに分かれます。公式はBigQueryの構造は2つの部分からなる。データを取り込み、保管し、最適化する保管の層と、分析の能力を提供する計算の層であると述べています。

分かれているので、置いておく量を増やしても、処理の力はそのままにできます。

どちらが効いているか

1. 置く量が多い。保管の層の話。読む量とは別
2. 読む量が多い。前の節の項目数で決まる
3. 処理が重い。並べ替えや突き合わせの分
4. 問い合わせが多い。回数そのもの

1番目と2番目は別物です。10年ぶんを置いていても、直近1か月だけを読めば読む量は1か月ぶんです。

だから古いデータを消す判断と、読む量を減らす判断は別々になります。

力の増やし方

公式はBigQueryの拡張可能で分散した分析の機構により、数テラバイトを数秒で、数ペタバイトを数分で問い合わせられると述べています。

処理の力は増やせますが、読む量そのものは減りません。減らせるのは、選ぶ項目と絞る範囲だけです。

速いことと、読む量が少ないことは別

数秒で返っても、読んだ量は変わりません。速さを見ていると、量が増えていることに気づけません。

BigQueryの速さは公式が示すとおりです。拡張可能で分散した分析の機構により、数テラバイトを数秒で、数ペタバイトを数分で問い合わせられるという記述です。

速いということは、読む量が多くても待たされないということでもあります。

気づけない理由

全項目を選ぶ書き方をしても、返ってくる時間はほとんど変わりません。前の計測でいえば、0.8MBが9.2MBになっても数秒のままです。

遅くならないので、直す動機が生まれません。読む量を別に見ていなければ、12倍のまま運用が続きます。

同じ構図は、実行時間だけを見ていると気づけない場面で繰り返し出ます。1回ずつは速いのに回数が多い場合の話はMySQLの記事で扱いました。

見るべき数字

1. 1回あたりの読む量。実行時間ではない
2. その問い合わせが選んでいる項目の数。表の全項目と比べる
3. 絞っている範囲。期間で区切れているか
4. 実行の回数。読む量の合計はこれとの掛け算

1番目と4番目を掛けたものが効いてきます。1回0.8MBでも、1日1万回なら8GBです。