Chain of Thoughtとは｜誤りの箇所を指せたのは0件から3件、代わりに出力は16倍

誤りの箇所を指せたのは0件から3件、代わりに出力は16倍

4段の計算を5問で判定しました。誤りがあった3問のうち、答えだけでは0件、途中を出すと3件で発生箇所を特定できます。

Chain of Thoughtで何が変わるのかを、計算問題で判定しました。用意したのは4段の計算が5問で、うち3問はどこかの段で値が狂っているものです。

断っておくと、これはモデルに解かせた実測ではありません。誤りの位置を先に置いて、それが特定できるかどうかを判定したものです。置いた値はコードに書いてあります。

const PROBLEMS = [
  { name: '請求額の計算', steps: [1200, 3600, 3960, 3960], wrongAt: 2 },
  { name: '在庫の引き当て', steps: [50, 38, 38, 12],       wrongAt: null },
  { name: '割引の適用',   steps: [8000, 7200, 7200, 7920], wrongAt: 4 },
  { name: '日割りの計算', steps: [30, 18, 4800, 4800],     wrongAt: 3 },
  { name: '税額の按分',   steps: [10000, 1000, 1000, 11000], wrongAt: null },
];

// 答えだけ: 最終値しか見えないので、誤りがあることは分かっても場所は指せない
const answerOnly = (p) => ({ wrong: p.wrongAt !== null, locatable: false });
// 途中を出す: 各段の値が見えるので、誤りの段を指せる
const withSteps = (p) => ({ wrong: p.wrongAt !== null, locatable: p.wrongAt !== null });

4段の計算を5問。誤りの発生箇所を指せるか

問題            誤りの有無  答えだけ    途中を出す
請求額の計算        2段目         指せない        2段目と分かる
在庫の引き当て       なし          —           —
割引の適用         4段目         指せない        4段目と分かる
日割りの計算        3段目         指せない        3段目と分かる
税額の按分         なし          —           —

誤りがあった問題: 3 / 5
答えだけで箇所を指せた: 0 / 3
途中を出して指せた:   3 / 3

1問あたりの出力量
  答えだけ:   12 tok
  途中を出す: 192 tok（4段ぶん + 最終値）
  倍率: 16.0倍

得たものと失ったものがはっきり分かれました。誤りの箇所は0件から3件に特定できるようになり、出力量は16倍になっています。

誤りが減るわけではない

ここを取り違えないでください。誤りがあった問題は、どちらの構成でも3問のままです。途中を出しても誤りは消えず、見えるようになるだけです。

とはいえ見えることの価値は小さくありません。請求額の計算が2段目で狂っていると分かれば、そこだけ直せます。最終値が違うとしか分からない場合は、全部やり直すことになります。

16倍の内訳

出力量は、1段あたりの説明を45トークン、最終値を12トークンと置いて積んでいます。4段ぶんで192トークンです。

段数が増えれば倍率も上がります。10段の処理なら、単純に計算して37倍になります。

常に途中を出させるべきなのか

多段の処理だけです。1段で終わる処理に付けても、応答が遅くなって費用が増えるだけになります。

Chain of Thoughtを常用するかどうかは、処理が何段あるかで決まります。前の節の結果が、その判断材料になります。

向く処理と向かない処理

1. 複数の段を経る処理。集計してから按分し、そこに税を足すような流れ
2. 誤りの原因を追う必要がある処理。金額、日数、権限の判定
3. 1段で終わる処理。分類、要約、翻訳
4. 速さが求められる処理。画面上で待たせる場面

3番目と4番目には向きません。Anthropicも、思考は応答を遅くするので、答えの質が実際に上がる場合にだけ使うべきで、それは典型的には多段の推論が要る問題だとしています。

見せるかどうかは別の判断

途中を出させることと、それを利用者に見せることは分けて考えてください。出させたうえで、画面には最終の答えだけ表示する構成が取れます。

この形にすると、読みやすさを保ったまま原因を追える記録が残ります。記録の設計はエージェント可観測性の記事で扱っています。

途中が正しいとは限らない

注意点がひとつあります。書き出された途中の考えが、実際にその答えを導いた過程だという保証はありません。もっともらしい説明が後付けで書かれることもあります。

ですから途中の値は、鵜呑みにせず検算できる形にしておくのが安全です。自分で見直させる方法の限界は自己反省の記事で扱っています。

Chain of Thoughtとはどういう書き方なのか

答えを出す前に、順を追った考えを書かせます。最近は機能として組み込まれているため、手で書かせるのは代替の位置づけです。

Chain of Thoughtは、結論に飛ばず、順を追った考えを書かせてから答えさせる書き方です。日本語では思考連鎖とも呼ばれます。

書き方そのものは単純

指示としては「順を追って考えてから答えてください」と伝えるだけです。途中の考えと最終の答えを、別々のまとまりとして返させる形にすると扱いやすくなります。

分けておけば、画面に出すのは答えだけにして、途中は記録にだけ残すといった使い分けができます。

今は機能として組み込まれている

位置づけが変わってきている点は押さえておいてください。近年のモデルには思考の機能が組み込まれており、手で書かせるやり方は、その機能が使えないときの代替として案内されています。

Anthropicの説明でも、思考が無効な場合には順を追った推論を促せる、という書き方になっています。機能が使えるなら、そちらを有効にするほうが確実です。

似た仕組みとの違い

同じ問いを複数回解かせて多数決を取る方法や、複数の筋道を枝分かれさせて探す方法もあります。Chain of Thoughtはそのうち最も単純で、1本の筋道を書かせるだけです。