2つのやり方の真の勝率が52%のとき、100問では60.8%しか勝敗の向きが正しく出ませんでした。
1000問で90.1%です。小さい差を見分けたいほど、必要な問題数が増えます。
問題数が、見分けられる差の大きさを決めます。小さい差ほど多くの問題が要ります。
Evals設計で行うのは、出力が基準を満たすかの確認です。公式は評価は、模型の出力を試し、あなたが指定した書き方と中身の基準を満たすことを確かめると定めています。
2つのやり方を比べる場面では、問題数が結論の当てになりやすさを決めます。数えました。
真の勝率を決めておき、その通りに勝敗が出るとします。2000回まわして、向きが正しく出た割合を測りました。
2つのモデルを問題ごとに比べる。2000回まわして、勝ち負けの向きが正しく出る割合を測る 真の勝率 20問 50問 100問 200問 500問 1000問 52% 48.8% 53.6% 60.8% 70.7% 81.0% 90.1% 55% 59.8% 70.0% 80.0% 92.0% 97.9% 100.0% 60% 75.5% 89.8% 97.0% 99.6% 100.0% 100.0% 70% 95.0% 99.8% 100.0% 100.0% 100.0% 100.0%
52%の行を見てください。20問なら48.8%で、半分より低い値です。
100問でも60.8%、1000問でようやく90.1%になります。
20問で52%の差を試すと、正しい向きが出るのは半分以下です。引き分けを誤りとして数えているためです。
つまりその結果からは何も言えません。勝ったと言っても、負けたと言っても、当たる確率がほぼ同じです。
60%の行なら100問で97.0%です。差が大きければ、少ない問題数でも判断できます。
だから先に決めるのは、どれだけの差を見分けたいかです。そこから必要な問題数が決まります。
小さい差ほど、必要な問題数が急に増える。
Evaluations (often called evals) test model outputs to ensure they meet style and content criteria that you specify.原文OpenAI 公式ドキュメント「Evaluating model performance」 この内容の有効期限2027-02-18
偏った問題を集めても、数を増やせば当たるわけではありません。何が代表かを先に決めます。
Evals設計では、試す問題の集め方が先にあります。公式は評価の中でアプリにどう振る舞ってほしいかを定めたので、次は、試験のデータの代表となる標本に対して、正しい出力を確実に生み出す指示を組み立てようと述べています。
「代表となる標本」が前提です。偏っていれば、数を増やしても偏った結論が出ます。
3番目は前の節と関係します。全部通ると、真の勝率が50%に近づきます。
すると必要な問題数が跳ね上がります。差が出ない問題を1000問集めても、90.1%にしかなりません。
逆に言えば、差の出る問題を選べば少ない数で済みます。60%の差なら100問で97.0%でした。
実際に失敗した問い合わせを集めるのが早道です。そこには差が出る問題が入っています。
何を正解とするかの記録も要ります。正解が曖昧なものを試験に入れると、次の節の一致の問題が出ます。
Now that we have defined how we want our app to behave in an eval, let's construct a prompt that reliably generates the correct output for a representative sample of test data.原文OpenAI 公式ドキュメント「Evaluating model performance」 この内容の有効期限2027-02-18
人が付ける場合、基準の解釈がゆらぎます。そのゆらぎがそのまま結論の幅になります。
Evals設計では、繰り返し測ることが前提になります。公式は指示を繰り返し直していく過程で、その性能を見張り続けることと述べています。
見張る値がゆらいでいれば、比べられません。人が付ける場合のゆらぎを数えました。
2人が合格か不合格かを付けます。真の出来ばえにゆらぎを足して、基準と比べるものとしました。
回答 5000件。2人が「合格か不合格か」を付ける 評価者は真の出来ばえにゆらぎを足して、0.5と比べているものとした ゆらぎの幅 一致した割合 2人とも合格 2人とも不合格 κ係数 ±0.05 95.7% 2382件 2401件 0.913 ±0.10 91.8% 2298件 2293件 0.836 ±0.20 83.9% 2106件 2087件 0.677 ±0.35 74.0% 1848件 1853件 0.480 ±0.50 66.9% 1683件 1660件 0.337
ゆらぎが±0.2で、一致は83.9%です。6件に1件は判断が割れます。
偶然を差し引いた度合いは0.677まで下がります。1が完全一致、0が偶然と同じです。
16%が割れるということは、誰が付けたかで結果が動くということです。
前の節の52%と55%のような差は、この幅に埋もれます。ゆらぎのほうが、見分けたい差より大きい状態です。
だから先にやることは、基準を書き出して合わせることです。一致を測れば、揃っているかが分かります。
揃え方と必要な人数は人手評価の記事で扱いました。同じ表を、人数の側から読んだものです。
勝敗の計測は、各問が独立に真の勝率で決まるという前提を置いています。実際には問題どうしに相関があり、その場合は必要な数がここより増えます。評価者のゆらぎも、真の出来ばえに一様な幅の誤差を足すという単純な形にしました。実際には、判断が難しい問題ほどゆらぎが大きくなります。ここで見せているのは、見分けたい差が小さいほど必要な問題数が急に増えること、評価者のゆらぎがその差を埋もれさせることの2つです。
Keep tabs on the performance of your prompts as you iterate on them.原文OpenAI 公式ドキュメント「Evaluating model performance」 この内容の有効期限2027-02-18
同じ課題を持つ会社にとって、動いている設定は「作る時間」を買えるということです。ServiceDockは自作のワークフローやテンプレートを出品できるマーケットプレイスです。手数料や出品の流れは出品者向けページにまとまっています。
出品の仕組みを見る