ゴールデンデータセットとは｜20問だと、同じ性能の2つに76%の確率で差が見える

20問だと、同じ性能の2つに76%の確率で差が見える

問題数を変えて2000回ずつ測り直しました。少ない問題数では、数字そのものが当てになりません。

ゴールデンデータセットの規模がどう効くのかを、実際に走らせて測りました。本当の正答率を72%と置き、問題数を変えて2000回ずつ測り直す形です。

同じ性能のものを何度も測り直しているので、出てくる数字の幅は、そのまま測り方のばらつきになります。

const measure = (n) => {
  const vals = [];
  for (let t = 0; t < REPEAT; t++) {
    let ok = 0;
    for (let i = 0; i < n; i++) if (r() < TRUE) ok++;
    vals.push(ok / n);
  }
  vals.sort((a, b) => a - b);
  return { lo: vals[Math.floor(REPEAT * 0.025)], hi: vals[Math.floor(REPEAT * 0.975)] };
};

問題数  出る値の範囲（95%）      本当の値と5ポイント以内
   10件  40.0% 〜 100.0%             26.7%
   20件  50.0% 〜 90.0%              38.1%
   50件  60.0% 〜 84.0%              58.2%
  100件  63.0% 〜 81.0%              73.3%
  300件  66.7% 〜 77.0%              94.2%
 1000件  69.2% 〜 74.8%             100.0%

上の表を見てください。20問で測ると50%から90%までの値が出ます。本当は72%です。

比較はもっと危ない

1つの数字を見るだけならまだ気づけます。危ないのは2つを比べたときです。

問題数  本当は差がないのに「差がある」と見えた割合
   10件               79.0%
   20件               75.9%
   50件               58.7%
  100件               45.0%
  300件               17.4%
 1000件                0.9%

20問だと75.9%の確率で差があるように見えました。中身はまったく同じ性能です。

どこから使えるか

100問で45.0%、300問で17.4%まで下がります。数ポイントの差を判断したいなら、このあたりが下限です。

ゴールデンデータセットとは何か

正解を決めた評価用の問題集です。同じ問題を毎回使うことで、変更の前後を比べられるようにします。

ゴールデンデータセットは、正解を決めた評価用の問題集です。基準になる問題という意味で呼ばれます。

なぜ固定するのか

毎回違う問題で測ると、良くなったのか問題が易しかったのか分かりません。同じ問題を使えば、前後を比べられます。

指示を書き換えたとき、モデルを替えたとき、検索の設定を変えたとき。比べる相手が要ります。

自動で採点できる形にする

前の節のとおり、問題数が要ります。人が採点していると数がそろいません。

Anthropicも、可能な場合は自動化し、選択式・文字列の一致・コードによる採点・モデルによる採点といった形にできるよう問題を組み立てることを挙げています。

数を優先する

同じ文書は、より踏み込んだ言い方をしています。手作業で丁寧に採点した少数の問題より、少し信号が弱くても自動採点できる問題を多く持つほうがよいという順序です。

前の節の実測がこの順序を裏づけています。20問では76%の確率で幻の差が見えました。丁寧さより先に数が要ります。

評価用の問題をどこから集めるか

実際に来る問い合わせから集めます。作った問題では、実際に使われる場面と分布がずれます。

ゴールデンデータセットの問題は実際に来るものから集めます。想像で作ると偏ります。

実態に合わせる

Anthropicも、実際の課題の分布を映す評価を設計し、境目にあたる場合を織り込むことを挙げています。

作った問題はきれいすぎることが多いです。実際の問い合わせには、曖昧なもの、前提が抜けたもの、そもそも対象外のものが混ざります。

混ぜておくもの

1. 対象外の問い。答えられないと返すのが正解
2. 長すぎる入力。渡せる量を超える場合
3. 曖昧な問い。聞き返すのが正解になることもある
4. 害のある入力。断るのが正解

Anthropicの文書も、境目の例として無関係または存在しない入力、長すぎる入力、質の悪い入力、曖昧な事例を挙げています。

育て方

最初から300問そろえる必要はありません。まず100問集めて測り、外した問いを足していくのが現実的です。

外した問いは、そのまま次の問題になります。問題集は運用しながら育ちます。