同じ回答に2人が判定を付けると、ゆらぎが±0.35のとき一致は74.0%でした。
その2人で多数決を取ると正解率は80.3%です。1人のときの80.4%より下がりました。
一致率だけを見ると高く見えます。偶然の一致を差し引くと、印象がかなり変わります。
人手評価がどれくらいばらつくのかを、実際に走らせて測りました。用意したのは回答5000件です。
各回答には0から1の真の出来ばえを持たせました。評価者はその値にゆらぎを足して0.5と比べるものとしています。
ゆらぎの幅 一致した割合 2人とも合格 2人とも不合格 κ係数 ±0.05 95.7% 2382件 2401件 0.913 ±0.10 91.8% 2298件 2293件 0.836 ±0.20 83.9% 2106件 2087件 0.677 ±0.35 74.0% 1848件 1853件 0.480 ±0.50 66.9% 1683件 1660件 0.337
ゆらぎが±0.20だと、一致した割合は83.9%です。8割を超えているので、数字だけ見れば悪くありません。
ところがκ係数は0.677です。偶然の一致を差し引くと、7割にも届きません。
合格と不合格が半々なら、でたらめに付けても5割は一致します。一致率の下駄は、そのぶんだけ高くなっています。
κ係数はその下駄を外した値です。出典は目安を.8を超える値は一般に良い一致とみなされる。0以下は一致なし、すなわち実質的に無作為なラベル付けを意味するとしています。
この目安に届くのは、ゆらぎ±0.10までです。±0.20では0.677で、すでに目安を割っています。
一致率は高く見えても、偶然を引くと足りていない。
Scores above .8 are generally considered good agreement; zero or lower means no agreement (practically random labels).原文scikit-learn「Metrics and scoring」（Cohen's kappa の節） この内容の有効期限2027-02-18
偶数人にすると同数が出ます。倒す向きを決めた時点で、その向きへ偏ります。
人手評価で人数を増やすとき、2人から始めるのが自然に見えます。実際に測ると、そうではありませんでした。
ゆらぎ±0.35の評価者を増やし、多数決を取ります。真の出来ばえが0.5以上なら合格というのを正解として比べました。
評価者の人数 正解と一致 誤り 1件あたりの手間 誤りの減り 1人 80.4% 978件 1回 — 2人 80.3% 983件 2回 -0.5% 3人 86.8% 659件 3回 33.0% 5人 88.6% 570件 5回 13.5% 7人 90.1% 494件 7回 13.3% 9人 91.5% 424件 9回 14.2%
2人にすると誤りは978件から983件へ増えました。手間が倍になって、結果は悪くなっています。
2人の判定が割れたとき、どちらかに倒す必要があります。この計測では合格側に倒しました。
結果として、2人のうち1人でも合格と言えば合格になります。不合格を見逃す向きに偏ったわけです。
3人にすると誤りは659件まで落ちます。1つ前と比べて33.0%減で、この計測で最も大きい改善でした。
この節で使った正解率は、κ係数とは別のものです。出典もκの用途を異なる人手の付け手によるラベル付けを比べるためのものであり、分類器と正解を比べるためのものではないと断っています。
評価者どうしの一致と、正解に当たっているかは別の話です。全員が同じように間違えれば、一致率は高いままになります。
偶数人にすると、倒す向きへ偏る。
This measure is intended to compare labelings by different human annotators, not a classifier versus a ground truth.原文scikit-learn「Metrics and scoring」（Cohen's kappa の節） この内容の有効期限2027-02-18
人数は手間に直結します。同じ手間なら、基準を直したほうが効くことがあります。
人手評価の費用は、ほぼ人数×件数です。9人で見れば手間は9倍になります。
その9人でも正解率は91.5%でした。1人の80.4%から11ポイントの改善に、9倍の手間を払っています。
前の節の表を見返してください。ゆらぎを±0.35から±0.10へ下げると、2人でも一致率が91.8%になります。
ゆらぎは、判定の基準がはっきりしていないほど大きくなります。割れた件を集めて基準を書き直すほうが、人を増やすより安く済みます。
人数を増やすと、一致の測り方も変える必要があります。出典はκの適用範囲を2値または多クラスの問題に対して計算できるが、多ラベルの問題には使えず、また2人を超える付け手に対しても使えないと明記しています。
3人以上なら、別の指標に切り替えます。2人ぶんずつ取り出して平均するという当て方も使われます。
人手を機械に置き換える手もあります。LLMによる採点の記事では、その置き換えで何が変わるかを測っています。
人数より、ゆらぎを減らすほうが安い。
評価者は真の出来ばえに独立したゆらぎを足すという置き方です。実際の評価者は同じ方向へ揃って外れることがあり、その場合は人数を増やしても改善しません。真の出来ばえが分かっている状況も、実務ではまれです。ここで見せているのは、偶数人にすると倒す向きへ偏るという関係と、一致率とκの差です。
Kappa scores can be computed for binary or multiclass problems, but not for multilabel problems (except by manually computing a per-label score) and not for more than two annotators.原文scikit-learn「Metrics and scoring」（Cohen's kappa の節） この内容の有効期限2027-02-18
同じ課題を持つ会社にとって、動いている設定は「作る時間」を買えるということです。ServiceDockは自作のワークフローやテンプレートを出品できるマーケットプレイスです。手数料や出品の流れは出品者向けページにまとまっています。
出品の仕組みを見る