同じ語を含む文でも、ののしっているのは7種のうち2種だけでした。
語があれば止める方式では5種を誤って止めます。引用も、否定も、方針の説明も止まります。
同じ語でも、ののしりとそれ以外があります。語の有無だけでは区別できません。
有害表現フィルタでいちばん簡単なのが禁止語の一覧です。どこで壊れるのかを実際に走らせて測りました。
同じ語を含む文を7種用意しました。ののしっているのは2種で、残りは引用・否定・自分に向けた言葉・語の一部・方針の説明です。
文の種類 語があれば止める 引用と否定を除く さらに絞る 本当は ののしっている 止める 止める 止める 有害 自分に向けている 止める 止める 通す 無害 引用している 止める 通す 通す 無害 否定している 止める 通す 通す 無害 語の一部 止める 止める 通す 無害 方針を説明している 止める 通す 通す 無害 再びののしっている 止める 止める 止める 有害
語があれば止める方式は、7種すべてを止めます。取りこぼしは0件です。
その代わり、誤って止めたのが5種です。止めた7件のうち、正しかったのは2件しかありません。
表の6行目を見てください。「この語は投稿できません」という案内文そのものが止まります。
4行目も同じです。「この言葉は使わないでください」という注意も、語を含むので止まります。
出典も段階の意味をその段階は、印を付けた内容を見せた場合の帰結の重さを示すためのものであると説明しています。見せてよいかどうかは、語ではなく使い方で決まります。
同じ語でも、使い方によって扱いが変わる。
The severity level is meant to indicate the severity of the consequences of showing the flagged content.原文Microsoft Learn「Harm categories in Azure AI Content Safety」 この内容の有効期限2027-02-18
種類は排他ではありません。段階も別に付くので、扱いは2つの軸で決まります。
有害表現フィルタでは、種類と段階の2つが返ります。どちらか一方だけでは扱いを決められません。
1つの投稿が複数の種類に当たることがあります。出典も分類は複数のラベルが付きうると明記しています。
「どれか1つ」を選ばせる作りにすると、2つ目以降が落ちます。種類ごとに独立した点を持つ形にします。
同じ種類でも段階が分かれます。報道や医療の文脈で語が出る場合と、直接ののしる場合では扱いが違います。
前の節の7種も、この違いです。語は同じでも、見せた場合の帰結が違います。
4番目を決めずに始めると、前の節のとおり案内文そのものが止まります。運用の初日に気づく類の問題です。
Classification can be multi-labeled.原文Microsoft Learn「Harm categories in Azure AI Content Safety」 この内容の有効期限2027-02-18
例を見てから書いた規則は、その例では完璧に動きます。見ていない言い方には届きません。
有害表現フィルタの3列目では、誤検出が0件になりました。この数字の読み方に注意が要ります。
除外の規則は7種を見てから書いたものです。だからこの7種では完璧に動きます。
計測台の出力にも、その断りを入れてあります。見ていない言い方には効かないので、この0件は一般の性能ではありません。
1番目を飛ばすと、何を除外すべきかが分かりません。件数の推移だけでは型が見えません。
同じ語でも、業務によって扱いが変わります。出典もこれらの分類を理解することは、自分の用途に合わせて選り分けと適合を設定するのに役立つとしています。
苦情の窓口なら、引用は通す必要があります。通す型を先に決めてから、止める規則を書きます。
しきい値そのものの決め方はコンテンツモデレーションの記事で測っています。見逃しと誤検出は同時には減りません。
見た例に合わせた規則の0件は、一般の性能ではない。
用意した文は7種だけです。割合を語れる数ではないので、件数で読んでください。除外の規則も、その7種に合わせて手で書いたものです。ここで見せているのは、同じ語でも使い方で扱いが変わることと、例に合わせた規則の成績がそのまま一般の性能にはならないという点です。
Understanding these categories helps you configure moderation and compliance for your use cases.原文Microsoft Learn「Harm categories in Azure AI Content Safety」 この内容の有効期限2027-02-18
同じ課題を持つ会社にとって、動いている設定は「作る時間」を買えるということです。ServiceDockは自作のワークフローやテンプレートを出品できるマーケットプレイスです。手数料や出品の流れは出品者向けページにまとまっています。
出品の仕組みを見る