「分かりません」と答えさせる設計は、誤答を確実に減らします。代わりに答えられたはずの問いも落ちます。
その交換比を測りました。誤答を1件減らす代償は、0.29件から11.17件まで動きます。
答えないという選択肢を用意し、いつそれを選ぶかを決めます。放っておくと選ばれません。
拒否応答の扱いとは、根拠が足りないときに答えさせず棄権させる設計です。何もしなければ、モデルはとにかく答えます。
出典は最初の対策として不確かさを認めてよいと明示的に許可することを挙げています。書かなければ選択肢として存在しません。
指示に一言足すだけで済む話です。ところがいつ棄権するかを決めていないと、判断がその場任せになります。
実務でよく使うのは検索で取れた文と問いがどれだけ重なっているかです。0から1の値にして、しきい値と比べます。
この設計では、間違いが2種類に分かれます。答えられないのに答えたものと、答えられたのに棄権したものです。
しきい値を動かすと、片方が減って片方が増えます。どちらも同時には減りません。次の節で、その動き方を実際に測ります。
Explicitly give Claude permission to admit uncertainty.原文Anthropic「Reduce hallucinations」 この内容の有効期限2027-02-18
しきい値を上げると誤答率は確実に下がります。答えられた問いを捨てる量も一緒に増えます。
拒否応答の扱いでしきい値を動かすと何が起きるのかを、実際に走らせて測りました。用意したのは問い4000件です。
そのうち根拠から答えられるものが2791件、答えられないものが1209件です。根拠の当たり具合には両者が重なる範囲を持たせています。
問い 4000件。根拠から答えられるもの 2791件・答えられないもの 1209件
棄権のしきい値 答えた うち誤答 棄権した うち答えられた 誤答率
0.00 4000件 1209件 0件 0件 30.2%
0.30 3706件 981件 294件 66件 26.5%
0.40 3184件 704件 816件 311件 22.1%
0.50 2318件 391件 1682件 864件 16.9%
0.60 1388件 151件 2612件 1554件 10.9%
0.70 594件 38件 3406件 2235件 6.4%
0.80 156件 2件 3844件 2637件 1.3%
棄権を一切させないと、誤答率は30.2%です。3件に1件近くが根拠のない答えになります。
しきい値0.60まで上げると誤答率は10.9%になります。出典が言うとおり、確かに大きく減ります。
同じ0.60の行を右まで見てください。棄権した2612件のうち1554件は答えられた問いです。
答えられる問いの過半を落としています。誤答率だけを見ていると、この列は視界に入りません。
誤答が減るほど、答えられた問いも一緒に落ちる。
This simple technique can drastically reduce false information.原文Anthropic「Reduce hallucinations」 この内容の有効期限2027-02-18
しきい値の1段の効き方は一定ではありません。上げるほど、同じ効果を得る費用が跳ね上がります。
拒否応答の扱いで一番間違えやすいのが、しきい値を上げれば上げるほど得だと考えることです。効き方を1段ずつ測りました。
問い 4000件。しきい値を1段上げるたびの損得 しきい値の変更 誤答の減り 失う正解 誤答1件を減らす代償 0.00 → 0.30 228件 66件 0.29件 0.30 → 0.40 277件 245件 0.88件 0.40 → 0.50 313件 553件 1.77件 0.50 → 0.60 240件 690件 2.88件 0.60 → 0.70 113件 681件 6.03件 0.70 → 0.80 36件 402件 11.17件
最初の1段は0.29件です。誤答を228件減らすのに、失う正解は66件で済みます。ここは迷わず上げてよい範囲です。
最後の1段は11.17件です。誤答を36件減らすために、答えられた問いを402件捨てます。
止めどころは誤答1件と取りこぼし1件のどちらが重いかで決まります。この比を業務の側から出します。
誤答の手戻りが取りこぼしの3倍なら、代償が3件を超える手前で止めます。この計測なら0.60が境目です。
棄権させるときに「分かりません」だけを返すと、使われなくなります。何が足りないかを一緒に返します。
出典は関連する対策として提示した文書の情報だけを使い、一般知識は使わないよう明示的に指示することを挙げています。棄権と組みにする指示です。
この指示がないと、根拠が薄いときに一般論で埋めた回答が返ります。ハルシネーション検出の記事では、その一般論を照合で拾えるかも測っています。
同じ1段でも、上に行くほど費用が跳ね上がる。
根拠の当たり具合は式で作った分布です。実際の分布は検索の質で変わり、重なりの度合いも違います。ここで見せているのは、しきい値を上げるほど交換比が悪くなるという関係です。しきい値そのものは、自社のデータで引き直してください。
Explicitly instruct Claude to only use information from provided documents and not its general knowledge.原文Anthropic「Reduce hallucinations」 この内容の有効期限2027-02-18
同じ課題を持つ会社にとって、動いている設定は「作る時間」を買えるということです。ServiceDockは自作のワークフローやテンプレートを出品できるマーケットプレイスです。手数料や出品の流れは出品者向けページにまとまっています。
出品の仕組みを見る