ETLとは｜保管量は6分の1で済むが、仕様が変わるたびの作り直しは4倍かかった

ETLの3つの段と、変換の位置

取り出す・変換する・入れるの3段です。違いが出るのは、変換をどの位置に置くかだけです。

ETLは、取り出す・変換する・入れるの3段でできています。出典もこの位置づけを述べています。

その言い方は取り出し・変換・投入は、さまざまな出どころのデータを1つのデータ置き場へ統合する処理であるというものです。

並べ替えると別の名前になる

同じ3段を並べ替えると、取り出す・入れる・変換するになります。これがELTと呼ばれる形です。

変わるのは順番だけです。やることそのものは同じで、どこで変換するかが違います。

変換で何をするのか

1. 絞る。要らない行や列を落とす
2. そろえる。表記や単位を統一する
3. まとめる。集計する、結合する
4. 確かめる。壊れている行を弾く

1番目と3番目で量が減ります。この減り方が、次の節の保管量の差になります。

4番目を先にやるか後にやるかも、選び方に効きます。データ品質の記事では、気づく場所で手戻りが変わることを測っています。

先に変換すれば、置く量は6分の1で済む

変換で減った分は、そのまま置き場所の差になります。期間が延びるほど差も積み上がります。

ETLで先に変換する理由の1つが置く量です。実際に計算して差を出しました。

1か月に届く元データを100GB、変換すると20GBに減るものとしました。5分の1です。

先に変換する方式は変換後だけを置きます。後で変換する方式は、元データも置きます。

期間を延ばす

1か月に届く元データ 100GB。変換すると 20GB に減る

経過        先に変換（保管）  後で変換（保管）  差       後で変換が何倍か
1か月                     20GB             120GB    100GB              6.0倍
6か月                    120GB             720GB    600GB              6.0倍
12か月                   240GB            1440GB   1200GB              6.0倍
24か月                   480GB            2880GB   2400GB              6.0倍
36か月                   720GB            4320GB   3600GB              6.0倍

3年ためると、720GBと4320GBです。差は3600GBになります。

倍率はどの時点でも6.0倍で一定です。毎月同じ比率で積み上がるためです。

なぜ6倍なのか

後で変換する方式は、元データ100GBと変換後20GBの両方を置きます。合わせて120GBです。

先に変換する方式は20GBだけなので、120÷20で6.0倍になります。変換後の残る割合が小さいほど、差は開きます。

出典も変換の段を変換の段では、専用の処理系を使って業務上の規則に従いデータが加工されると説明しています。減るのはこの段です。

仕様が変わるたびの作り直しは、4倍かかる

元データが手元にないと、変更のたびに取り直しになります。変更の頻度が選び方を決めます。

ETLで先に変換すると、元データが手元に残りません。仕様が変わったときにここが効きます。

出典も違いを取り出し・投入・変換は、変換がどこで行われるかという点のみでETLと異なるとしています。残るものが変わります。

3年ぶんで計算しました。元データを取り直すと1回6時間、手元にあれば1.5時間としています。

変更の頻度を動かす

3年ぶん。仕様が変わるたびに、それまでの全期間を作り直す
元データを取り直すと1回 6時間、手元にあれば 1.5時間

仕様の変更  期間中の回数  先に変換（時間）  後で変換（時間）  差
年1回                 3.2回              31.5               7.9    23.6
年3回                 9.2回              83.6              20.9    62.7
年6回                18.6回             172.2              43.1   129.2
年12回               36.5回             330.9              82.7   248.2

年12回の変更なら、3年で330.9時間と82.7時間です。差は248.2時間あります。

年1回でも31.5時間と7.9時間で、比は同じ4倍です。回数が増えるほど、差の絶対値が積み上がります。

どちらを選ぶか

2つの数字を並べれば決められます。置き場所の差と、作り直しの差です。

仕様が固まっていて量が多いなら、先に変換します。変わり続けるなら、元データを残したほうが安く済みます。

この計測でいえば、3年の保管の差3600GBと、作り直しの差248.2時間を並べます。単価を入れれば、どちらが重いかが出ます。