コンテンツモデレーションとは｜見逃しを0件にしたら、無害な投稿を13962件止めた

コンテンツモデレーションは何を返すのか

有害かどうかの二択ではなく、程度の点が返ります。止めるかどうかは、その点をどこで切るかで決まります。

コンテンツモデレーションは、有害な内容を検出して止める仕組みです。人の投稿にも、AIの出力にも当てます。

出典もこの位置づけをアプリケーションやサービスの中で、利用者が作った内容とAIが作った内容の両方について有害なものを検出するサービスと説明しています。

返るのは点である

検出の結果は「有害・無害」の二択ではありません。どれくらい有害らしいかの点が返ります。

止めるかどうかを決めるのは使う側です。点のどこで切るかを、こちらで決める必要があります。

種類ごとに切り分ける

1. 種類。暴力・性的・憎悪・自傷などに分かれる
2. 程度。同じ種類でも軽重がある
3. 対象。入力を見るのか、出力を見るのか
4. 扱い。止めるのか、伏せるのか、人に回すのか

4番目を「止める」だけにすると、判断の幅がなくなります。迷う範囲を人に回すという選択肢を残しておきます。

以降では、この点をどこで切るかを実際に測ります。切る位置で結果がどう動くかが主題です。

見逃しを0件にしたら、無害な投稿を13962件止めた

しきい値を下げれば見逃しは消えます。無害な投稿を止める件数が、そのぶん跳ね上がります。

コンテンツモデレーションのしきい値を動かすと何が起きるのかを、実際に走らせて測りました。

投稿2万件を用意し、そのうち3%を本当に有害としました。実際に有害だったのは603件です。

しきい値を動かす

しきい値  止めた件数  うち正しい  見逃し  誤って止めた  見逃し率  誤検出率
0.3           14565件        603件      0件        13962件      0.0%     72.0%
0.5            3805件        576件     27件         3229件      4.5%     16.6%
0.6            1148件        460件    143件          688件     23.7%      3.5%
0.7             276件        256件    347件           20件     57.5%      0.1%
0.8              88件         88件    515件            0件     85.4%      0.0%
0.9              12件         12件    591件            0件     98.0%      0.0%

しきい値0.3なら見逃しは0件です。有害な投稿はすべて止まります。

ところが止めた件数は14565件で、そのうち13962件は無害でした。投稿の7割が止まる状態です。

折り合う点を探す

0.6まで上げると、誤検出は688件まで落ちます。見逃しは143件に増えます。

0.8まで上げれば誤検出は0件です。見逃しが515件になるので、有害な投稿の85.4%が通ります。

出典も目的を内容を選り分ける仕組みは、規制への適合や、利用者にとって意図した環境の維持に役立つとしています。どちらを優先するかで位置が変わります。

誤検出率3.5%が、件数では688件になる

割合で見ると小さく見えます。無害な投稿のほうが桁で多いので、件数では大きく出ます。

コンテンツモデレーションで見落としやすいのが、割合と件数のずれです。しきい値0.6の行を見ます。

誤検出率は3.5%です。数字だけ見れば小さく見えます。ところが件数は688件あります。

同じ行で正しく止めたのは460件です。止めた1148件のうち6割が無害という状態になります。

母数の大きさが効く

無害な投稿は19397件あります。有害な603件の32倍です。

この比のせいで、誤検出率が小さくても件数では逆転します。有害の割合が低い場ほど、この逆転は強く出ます。

止められた側から見れば、正しいかどうかは関係ありません。688件ぶんの問い合わせが来ると考えて設計します。

自社のデータで引き直す

この計測の有害率は3%です。実際の場では0.1%のことも、10%のこともあります。割合が変われば、同じしきい値でも件数が変わります。

出典も検証の必要性をいずれの場合も、自分の用途で機能することを確かめるため、自身で検証すべきであるとしています。

似た構造は個人情報検出の記事でも測っています。母数が大きいほうに引きずられる点は共通です。