LLM可観測性とは｜1%に間引いたら、404件の失敗のうち6件しか残らなかった

1%に間引いたら、404件の失敗のうち6件しか残らなかった

一律に間引くと、失敗も同じ割合で消えます。残った数が少なすぎて原因を追えません。

LLM可観測性で最初に削られるのが記録の量です。間引くと何が失われるのかを、実際に走らせて測りました。

1日の要求を20万件、そのうち失敗を0.2%としました。実際に失敗したのは404件です。

間引き方を動かす

1日の要求 200000件。うち失敗 404件（0.20%）

間引き方                  残した件数  捕まえた失敗  失敗の捕捉率  1日の保存量の比
一律 0.1%                         212件            2件          0.5%            0.1%
一律 1.0%                        1906件            6件          1.5%            1.0%
一律 5.0%                        9810件           25件          6.2%            4.9%
一律 10.0%                      19997件           43件         10.6%           10.0%
一律 100.0%                    200000件          404件        100.0%          100.0%
失敗は全部＋成功 0.1%                   606件          404件        100.0%            0.3%
失敗は全部＋成功 1.0%                  2432件          404件        100.0%            1.2%

一律1%に間引くと、残った失敗は6件です。404件のうち1.5%しか手元にありません。

6件では、共通点があるのかどうかも判断できません。同じ入力で起きているのか、たまたまなのかが分かりません。

捕捉率が保存量と一致する

右2列を並べて見てください。捕捉率と保存量の比がほぼ同じ数字になっています。

失敗かどうかを見ずに間引いているので、当然の結果です。保存量を10分の1にすれば、失敗も10分の1になります。

出典もこの弱点を先頭での間引きの主な難点は、トレース全体のデータにもとづいて間引きの判断ができないことであると述べています。

保存量1.2%のまま、失敗は全部残せる

残す条件を変えるだけで、量と捕捉率の関係が切れます。同じ費用でも中身が変わります。

LLM可観測性の費用は保存量で決まります。量を減らしても見えるものを減らさないのが、間引きの目的です。

出典もこの位置づけを間引きは、可視性を失うことなく可観測性の費用を減らす、最も効果的な方法の1つであると述べています。

失敗を見てから決める

同じ表の下2行が、その形です。失敗した処理は全部残し、成功した処理だけ間引きます。

成功を1%に間引いた場合、残るのは2432件です。1日の保存量の比は1.2%で、一律1%とほとんど変わりません。

それでいて失敗は404件すべて残ります。同じ費用で、見えるものが67倍になった形です。

成功も少しは残す

失敗だけ残せばよさそうに見えます。比べる相手がないと、失敗の何が違うのかを言えません。

成功を0.1%にすると保存量は0.3%まで下がりますが、比較に使える成功例は202件です。日によっては足りません。

どちらを選ぶかは、失敗の件数と調べ方で決まります。トレース設計の記事では、1件あたりに残す記録の個数を測っています。

残す条件は、失敗だけでは足りない

失敗と呼べない悪化があります。何を残すかは、あとで何を調べたいかから決めます。

LLM可観測性では、失敗として記録されない悪さが多くあります。応答は返っているのに中身が薄い、といった場合です。

全部残す条件

1. 失敗した処理。例外も、規定外の出力も含む
2. 遅かった処理。上位数%の所要時間
3. 根拠が取れなかった処理。検索が空だった場合
4. やり直した処理。再試行が起きた場合

2番目から4番目は、失敗として数えられていないことが多い項目です。条件に入れておかないと、一律の間引きで消えます。

出典もこの判断の必要性を記録を間引かざるをえない大きめのシステムでは、データ量とその有用性を釣り合わせるために、末尾での間引きを使うことがほぼ常に必要になると述べています。

1件に何を残すか

1. 使った版。モデルと指示文の版
2. 取れた根拠。どの文書のどこを使ったか
3. 所要とトークン数。費用と遅さの内訳
4. 入力と出力。個人情報は伏せたうえで

1番目がないと、悪化がいつ始まったのかを絞り込めません。版が変わった時刻と突き合わせるための鍵です。