ELTとは｜列を10個に絞ったら、3年で19.4個が「捨てたのに必要」になった

列を10個に絞ったら、3年で19.4個が「捨てたのに必要」になった

取り込みのときに要否を決めると、あとから増える用途に対応できません。判断は先送りできます。

ELTでは、入れた先で変換します。出典もこの点を端的に述べています。

その言い方はELTの流れでは、変換は入れた先のデータ置き場で起こるというものです。取り込みの段では変換しません。

だから取り込みのときに列を絞る必要がありません。絞った場合に何が起きるかを数えました。

残す列の数を動かす

元データの列を40個とし、取り込み時に一部だけ残します。3年のあいだに新しい用途が出てくる場です。

元データの列 40個。取り込み時に一部だけ残す
36か月のあいだに、新しい用途が出てきて列が必要になることがある

最初に残す列  あとで必要になった列  そのうち捨てていた列  取り直しが要った回数
10個                          22.5個                 19.4個                100.0%
20個                          22.3個                 14.0個                100.0%
30個                          22.5個                  7.5個                100.0%
40個                          22.2個                  0.0個                  0.0%

3年で必要になった列は、どの行でも22個前後です。残した数によらず、用途は同じだけ増えます。

違うのは3列目です。10個に絞ると19.4個が、捨てた側から必要になりました。

多めに残しても足りない

30個まで残しても7.5個が不足します。取り直しが要った試行は100.0%のままです。

0になるのは、全部残した場合だけです。絞る限り、どこかで足りなくなります。

変換の仕組みを1つ減らせる

入れた先の力で変換するので、間に別の仕組みを置きません。動かす部品が1つ減ります。

ELTのもう1つの利点は、構成が単純になることです。出典もこの点を挙げています。

その説明はこれは、変換の処理系を流れの中から取り除くことで構成を単純にするというものです。

減る部品

1. 変換の処理系。別に用意して動かす必要がない
2. 中間の置き場所。変換の途中を持たない
3. 2つの環境の版ずれ。合わせる相手が減る
4. 移す手順。変換後を運ぶ工程がない

3番目は運用で効きます。変換の仕組みと入れた先で、対応する形式や関数がずれることがなくなります。

規模も入れた先に乗る

変換の速さは、入れた先の能力で決まります。入れた先を大きくすれば、変換も速くなります。

増やす場所が1か所になるので、見積もりも簡単になります。変換の仕組みだけが詰まる、という状態が起きません。

その代わり、入れた先に負荷が集中します。問い合わせと変換が同じ場所を取り合います。

入れた先が非力だと、この形は成り立たない

変換をこなす力が前提です。その力がなければ、単純さも取り直しの手軽さも手に入りません。

ELTには条件があります。出典もただしELTは、入れた先の仕組みがデータを効率よく変換できるだけの力を持っている場合にのみ、うまく働くと断っています。

変換を先にやらないので、入れた先には元データがそのまま入ります。前の記事の計測でいえば、5倍の量です。

その量に対して変換を回せる必要があります。回せなければ、単に置き場所が増えただけになります。

確かめること

1. 変換が時間内に終わるか。元データの量で試す
2. 問い合わせと同居できるか。変換中の応答を見る
3. 費用が量に比例するか。従量なら量がそのまま効く
4. 置き場所が持つか。元データを残し続けられるか

3番目は見落としがちです。入れた先が使った分だけ課金される形なら、変換の重さがそのまま請求になります。

混ぜる形もある

全部を入れた先で変換する必要はありません。明らかに要らない行だけ先に落とすといった折衷ができます。

この計測で言えば、列は全部残しつつ、行は絞る形です。列の取り直しは0件のまま、量は減らせます。

置き場所と作り直しの釣り合いそのものはETLの記事で測っています。3年で保管3600GBと作り直し248.2時間の差でした。