判定役を増やせば安定する、と考えがちです。1人あたりが9割正しいなら、7人で99.7%まで上がります。
ところが1人あたりが4割だと逆でした。1人で41.3%、7人で30.4%まで落ちます。増やすほど悪くなります。
判定役の人数を増やして数えました。増やして良くなるかどうかは、1人あたりの正しさで決まります。
LLM-as-a-Judgeで判定役を増やすと何が起きるのかを、実際に走らせて数えました。判定2000件について、多数決を取っています。
1人あたりの正しさを9割から4割まで変え、人数を1人から7人まで増やしました。多数決の結果を、正解と突き合わせています。
for (let i = 0; i < N; i++) {
let yes = 0;
for (let j = 0; j < judges; j++) {
const correct = r() < acc; // この判定役は当てたか
const v = correct ? truth[i] : !truth[i];
if (v) yes++;
}
const verdict = yes > judges / 2;
if (verdict === truth[i]) right++;
}
1人あたり 1人 3人 5人 7人
90% 89.6% 97.3% 99.1% 99.7%
80% 79.1% 89.9% 94.7% 96.5%
70% 70.6% 78.8% 84.4% 87.4%
60% 59.2% 64.5% 69.5% 71.2%
50% 48.4% 49.6% 48.7% 50.9%
40% 41.3% 34.2% 31.6% 30.4%
上の表を見てください。1人あたりが9割なら、7人で99.7%まで上がります。増やす効果がはっきり出ています。
5割の行を見てください。人数を増やしても48.4%から50.9%までで、ほとんど動きません。
4割の行では逆になります。1人で41.3%、7人で30.4%です。増やすほど悪くなりました。
多数決は1人あたりが当たりやすいという前提の上に成り立ちます。外れやすい判定役を集めれば、多数決は外れのほうを固めます。
つまり人数は効果を増幅する仕掛けです。向きを決めるのは1人あたりの正しさで、人数ではありません。
人数は増幅装置。向きを決めるのは1人あたりの正しさ。
LLM-as-a-judge is a scalable and explainable way to approximate human preferences原文Zheng et al.「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」 この内容の有効期限2027-02-18
生成物の良し悪しを、別の生成AIに判定させます。正解を1つに決められない課題を測るための手立てです。
LLM-as-a-Judgeは、生成物の良し悪しを別の生成AIに判定させる測り方です。
正解が1つに決まる課題なら、突き合わせるだけで済みます。ところが要約や回答文には、正解が1つではありません。
元になった論文も、より開かれた問いについてモデルを評価するために、強い言語モデルを判定役として使うことを探るとしています。
同じ論文は、強い判定役は、統制された環境でも多数から集めた場合でも人の選好とよく一致し、8割を超える一致率を達成すると報告しています。
8割という数字は、前の節の表で言えば7人にすれば96.5%まで上がる帯です。増やす効果が出る側にいます。
2番目を飛ばして人数だけ増やすと、前の節の4割の行と同じことが起きます。増やしたのに悪くなるという結果になります。
判定役どうしは互いに独立して間違えるものとして数えています。実際には同じモデルを何度も呼ぶと、同じところで同じように間違えます。その場合、人数を増やしても表ほどは上がりません。実測の値は上限だと考えてください。同じ問いを何度も解かせる手立ては自己整合性の記事で扱っています。
we explore using strong LLMs as judges to evaluate these models on more open-ended questions原文Zheng et al.「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」 この内容の有効期限2027-02-18
判定役には決まった偏りがあります。中身ではなく、並べた順序や文章の長さで結果が動きます。
LLM-as-a-Judgeを使う前に、判定役が持つ偏りを知っておく必要があります。前の節の1人あたりの正しさは、この偏りで決まります。
元の論文は、判定役の限界として位置による偏り、冗長さによる偏り、自らを高く評価する偏り、そして推論能力の限界を挙げています。
1番目は確かめやすい偏りです。同じ2つを順序だけ入れ替えて判定させると、結果が変わるかどうかで分かります。
順序の偏りは、両方の順序で判定させて、結果が一致するかを数えれば測れます。一致しない割合がそのまま偏りの大きさです。
長さの偏りは、短くても正しい答えと、長くて誤りを含む答えを並べて判定させると見えます。
計算の正しさや、規程との突き合わせのように正解が決まっている課題には向きません。突き合わせれば済みます。
判定役を使うのは正解を1つに決められない課題に限ってください。機械で判定できる課題の測り方はpass@kの記事で扱っています。
1人あたりを測ってから、人数を決める。
position, verbosity, and self-enhancement biases, as well as limited reasoning ability原文Zheng et al.「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」 この内容の有効期限2027-02-18
同じ課題を持つ会社にとって、動いている設定は「作る時間」を買えるということです。ServiceDockは自作のワークフローやテンプレートを出品できるマーケットプレイスです。手数料や出品の流れは出品者向けページにまとまっています。
出品の仕組みを見る