マルチクエリとは｜言い換えは1つで効いて、3つに増やすと戻った

言い換えは1つで効いて、3つに増やすと戻った

言い換えを0個から3個まで増やして測りました。1個の時点がいちばん良く、そこから増やすと下がります。

マルチクエリで言い換えを増やすと成績がどう動くのかを、実際に走らせて測りました。使ったのは社内規程を模した文書13件と、語が食い違う問い5件です。

言い換えは文書の中身を見ずに、聞き方だけを変えて用意しました。生成AIに作らせる部分を手で置いた形です。

const rrfN = (lists, k = 60) => {
  const score = new Map();
  for (const l of lists)
    l.forEach((x, r) => score.set(x.i, (score.get(x.i) || 0) + 1 / (k + r + 1)));
  return [...score.entries()].map(([i, s]) => ({ i, s })).sort((a, b) => b.s - a.s);
};

const qs = [q, ...VARIANTS[q].slice(0, nv)];
const ids = (nv === 0 ? bm25(q) : rrfN(qs.map((x) => bm25(x)))).map((x) => x.i);

やり方              適合率@3  再現率@3   nDCG@3
そのまま1つで検索              0.400     0.700    0.542
言い換えを1つ足す              0.533     0.900    0.845
言い換えを2つ足す              0.400     0.700    0.661
言い換えを3つ足す              0.400     0.700    0.661

問い                        そのまま  言い換えあり
ホテル代の限度額                       1 / 2         1 / 2
出張手当は日帰りだと                     2 / 2         2 / 2
仮払の申請                          2 / 2         1 / 2
消耗品の購入                         1 / 1         1 / 1
レポートの提出期限                      0 / 2         1 / 2

上の表を見てください。言い換えを1つ足した行がいちばん良いです。nDCGは0.542から0.845に上がりました。

増やすと戻る

ところが2つ目からは下がります。3つ足しても0.661で、1つのときの0.845には届きません。

適合率と再現率にいたっては、言い換えなしと同じ0.400と0.700に戻りました。増やした分の手間が結果に出ていません。

良くなった問いと悪くなった問い

下の内訳が理由を示しています。報告書の問いは0件から1件に改善しました。ここは狙いどおりです。

一方で仮払の問いは2件から1件に落ちています。差し引きすると全体はほぼ動きません。

外した言い換えの結果も混ざるので、正解の順位が押し下げられます。言い換えを増やすほど、この押し下げが積み上がります。

マルチクエリとは何をする手法なのか

1つの問いから複数の言い換えを作り、それぞれで検索して結果を混ぜます。聞き方と書き方の食い違いを埋めるための手立てです。

マルチクエリは、1つの問いを言い換えて何度も検索し、結果を混ぜる手法です。

なぜ言い換えるのか

利用者は「ホテル代」と聞きますが、規程には「宿泊費」と書いてあります。語が違うと、語で探す検索は見つけられません。

LangChainの文書も、検索の前段として入力された問いを変えて検索の質を上げるという手立てを挙げています。マルチクエリはその一種です。

やっていること

1. 言い換えを作る。生成AIに、聞き方の違う問いを何通りか出させる
2. それぞれで検索する。言い換えの数だけ検索が走る
3. 結果を混ぜる。順位の逆数を足し合わせて並べ直す
4. 上位を渡す。混ぜた結果の上から必要な件数を取る

同じ文書には、不明瞭な問いを書き直したり、複数の言い換えを作ったり、文脈を足して広げたりすることが含まれると書かれています。3番目の広げる方はクエリ拡張の記事で扱っています。

混ぜ方が結果を決める

混ぜる部分は順位の逆数を足す方式を使いました。複数の検索で上位に来た文書ほど、混ぜたあとも上に来ます。

この性質があるので、外した言い換えが増えると正解が沈みます。前の節で3個に増やしたときに下がったのは、この混ぜ方の性質がそのまま出たものです。

マルチクエリで増える費用と時間

検索の回数が言い換えの数だけ増えます。加えて言い換えを作る生成AIの呼び出しが1回入ります。

マルチクエリを入れると、問い1件あたりの処理が増えます。何が増えるのかを分けて見ます。

検索の回数

前の節の計測では、検索の回数が5回から20回になりました。言い換え3つで、問い5件ぶんです。

言い換えの数をnとすると、検索はn+1倍になります。検索基盤の負荷はそのまま比例します。

生成AIの呼び出し

言い換えを作る呼び出しが、検索の前に1回入ります。この1回は利用者を待たせる時間に直接乗ります。

LangChainの文書は、段が決まった構成について生成AIの呼び出し回数の上限が分かるので、応答時間が読みやすいとしています。マルチクエリは呼び出しが1回増えますが、回数自体は決まったままです。

見合うかどうか

前の節の実測では、言い換え1個で検索が2倍、nDCGは0.542から0.845でした。ここは見合っています。

3個に増やすと検索は4倍ですが、nDCGは0.661です。4倍払って、1個のときより悪いという結果になりました。