LangGraphとは｜AI任せの段を1つ増やすごとに、同じ結果が出る割合が0.85倍になる

AI任せの段を1つ増やすごとに、同じ結果が出る割合が0.85倍になる

6段の処理を5,000回ずつ実行しました。全部AI任せで38.2%、1段だけなら84.3%が同じ結果になります。

LangGraphが掲げる「決まった手順とAI任せを混ぜる」という設計が、どれだけ効くのかを実際に回して測りました。題材は6段の処理です。

試行は本当に実行しています。ただし「AI任せの段は同じ入力でも85%でしか同じ出力にならない」という前提は置いた値です。乱数は固定の種から作っているので、何度実行しても同じ結果になります。

const STEPS = 6;
const RUNS = 5000;
// AI任せの段は、同じ入力でも 85% の確率で同じ出力になるものとする
const SAME_RATE = 0.85;

// n段をAI任せにしたグラフを1回実行し、既定の出力と同じになったかを返す
function runOnce(n) {
  for (let i = 0; i < STEPS; i++) {
    const agentic = i < n;
    if (agentic && rand() > SAME_RATE) return false;   // その段でぶれた
  }
  return true;
}

AI任せの段数   決まった手順の段数   出力が一致した割合
       0段               6段             100.0%
       1段               5段              84.3%
       2段               4段              73.2%
       3段               3段              61.9%
       6段               0段              38.2%

4段目で失敗したときに、やり直す段数

構成                     やり直す段数  再開できるか
途中の状態を残さない               6段  不可
各段の結果を記録する               3段  可

落ち方が急でした。1段増やすごとに0.85倍ですから、6段すべてを任せると38.2%まで落ちます。

混ぜることの意味

この数字が、決まった手順と混ぜる設計の根拠になります。決まった手順で書ける段を1つ減らすたびに、全体の安定性が0.85倍ずつ削られるということです。

LangChainの説明でも、手で書いた決まった処理と、AIに判断させる処理を1つのグラフの中で組み合わせることが利点として挙げられています。信頼性が要る箇所は決まった手順で、柔軟さが要る箇所はAIで、という使い分けです。

途中から再開できる

もうひとつの数字が再開です。4段目で失敗したとき、状態を残していなければ6段すべてをやり直します。各段の結果を記録していれば3段で済みます。

LangChainも、失敗をまたいで動き続け、長時間の実行にも耐え、止まったところから再開できるエージェントを作れる点を挙げています。

先に計画を立てて再開できるようにする考え方はPlan-and-Executeの記事で、決まった手順だけで組む構成は決定的ワークフローの記事で扱っています。

LangGraphとは何をする道具なのか

処理を段に分けてつなぐ土台です。プロンプトや構成そのものは抱え込まず、実行の面倒を見ます。

LangGraphは、処理を段に分け、段のつながりと状態の受け渡しを扱う基盤です。段のことをノード、つながりのことをエッジと呼びます。

受け持つ範囲

説明では、長時間動く、状態を持つ処理やエージェントのための低い層の基盤を提供するものだとされています。

同じ文書では、プロンプトや構成そのものは抽象化しないとも書かれています。何をどう指示するかは、こちらが書くという分担になります。

面倒を見てくれる部分

1. 状態の持ち回り。段から段へ何を渡すか
2. 失敗からの再開。止まったところから続けられる
3. 人の確認。任意の時点で状態を見て書き換えられる
4. プロンプトの書き方。これは含まれない

3番目は実務で効きます。人の承認を挟む設計はHITLの記事で扱っています。

LangChainとの関係

名前が似ているので誤解されやすい点です。LangChainを作った会社が開発しているが、LangChainなしでも使えると明記されています。

どういう仕事なら導入する価値があるのか

長く動く処理か、途中で止まって再開したい処理です。数段で終わる処理には土台が重すぎます。

LangGraphを導入するかどうかは、処理が長く動くか、途中で止まりうるかで決まります。

向く仕事

1. 段が多く、途中で失敗しうる処理。再開できると効く
2. 人の確認を途中に挟む処理。状態を見て書き換えられる
3. 決まった手順とAI任せが混ざる処理。1つのグラフにまとめられる
4. 1回の呼び出しで終わる処理。そのまま書くほうが速い

4番目に注意してください。段が1つか2つの処理に土台を入れると、覚えることが増えるだけです。

抱え込まれない範囲

採用の判断で気になるのが、どこまで縛られるかです。この道具はLangChainなしでも使えると明記されており、プロンプトの書き方も抱え込みません。

とはいえ状態の持ち方と段のつなぎ方は、この道具の形に合わせることになります。移すときに書き直す範囲はそこです。

入れる前に測る

導入の前に、同じ入力で複数回動かして結果が一致する割合を測ってください。前の節のような数字が出れば、どの段を決まった手順に寄せるべきかが見えます。

測り方はシミュレーション評価の記事で扱っています。ばらつきを多数決で吸収する方法は自己整合性の記事にありますが、1回あたりの正解率が低い場合は逆効果になります。