バイアス評価とは｜5ポイントの差があっても、各100件だと11.9%しか気づけなかった

5ポイントの差があっても、各100件だと11.9%しか気づけなかった

差が出ないことと、差がないことは別です。件数が足りなければ、実際の差も見つかりません。

バイアス評価で最も怖いのは、差なしという結論が件数不足から出ることです。実際に走らせて測りました。

多いほうの群の成功率を80%、少ないほうをそれより低く置きます。差は実際に存在する状態です。

両群とも同じ件数にして、統計の目安を超えたら差ありと判断します。2000回まわして、実際にある差に気づけた割合を出しました。

差と件数を動かす

差の大きさ         各50件      各100件      各300件     各1000件     各3000件
2ポイント              4.0%       4.9%       8.7%      18.4%      44.8%
5ポイント              8.1%      11.9%      30.5%      74.6%      99.6%
10ポイント            20.9%      39.0%      83.0%      99.9%     100.0%

5ポイントの差がある状態で各100件を見ると、気づけるのは11.9%です。

残りの88.1%では「差は認められない」という結果になります。差は確かにあるのにです。

小さい差はほぼ見えない

2ポイントの差になると、各3000件まで集めても44.8%です。半分以上を見逃します。

利用者からすれば、2ポイントでも100人に2人の違いです。気づけないことと、影響がないことは別です。

出典もこの種の害を機会や資源や情報が与えられも差し止められもしていなくても、ある人にとって別の人ほどうまく働かない場合に、サービス品質の害が起こりうると説明しています。

小さい群の件数が、そのまま評価の限界になる

件数は少ないほうの群で決まります。全体が十分でも、片方が足りなければ結論は出ません。

バイアス評価で集めるべき件数は、少ないほうの群で決まります。全体の件数ではありません。

この計測は両群を同じ件数にしています。実務では片方が桁で少ないことがほとんどです。

群をどう割るか

出典も群が1つに定まらないことを1つの仕組みが、複数の群をそれぞれ違う形で害することもあれば、1つの群に複数の害を及ぼすこともあると述べています。

実務で使う割り方は、機微な属性だけではありません。入力の種類・地域・利用の時間帯でも差は出ます。

1. 言語や表記。方言や旧字体を含む入力
2. 入力の長さ。極端に短い問い、極端に長い問い
3. 業種や部署。専門用語の密度が違う
4. 地域。固有名詞の当たり方が違う

件数から逆算する

見逃したくない差を決めれば、必要な件数は表から引けます。10ポイントなら各300件で83.0%です。

5ポイントまで見たいなら、各1000件でも74.6%です。各3000件で99.6%まで上がります。

群を細かく割るほど、1群あたりの件数は減ります。割り方を増やすと、どの群でも結論が出なくなります。

差なしと、件数不足を分けて報告する

報告の形を決めておきます。同じ「差なし」でも、意味が違うものを混ぜると判断できません。

バイアス評価の結果は、3通りに分けて報告します。差ありと差なしの2通りでは足りません。

1. 差あり。件数が足りていて、差が見つかった
2. 差なし。件数が足りていて、差が見つからなかった
3. 判定できない。件数が足りていない

3番目を2番目に混ぜると、問題がないという誤った安心が残ります。この計測でいえば、各100件はすべて3番目です。

何をそろえるのか

そろえる対象も先に決めます。出典は制約の形を同等性の制約は、予測器のふるまいのある側面が、機微な特徴で定義された群のあいだで比較可能であることを求めると述べています。

成功率をそろえるのか、見逃し率をそろえるのかで結論が変わります。両方を同時にそろえられない場合があります。

見続ける形にする

1回測って終わりにはできません。群ごとの件数と成功率を、毎月同じ形で出します。

件数が積み上がれば、去年は判定できなかった差が今年は見えます。ドリフト検知の記事では、この積み上げ方の別の面を扱っています。