レッドチーミングとは｜試行を200回から600回に増やしても、新しい弱点は0.6種しか出なかった

試行を200回から600回に増やしても、新しい弱点は0.6種しか出なかった

見つかりやすい弱点は早い段階で出尽くします。そこから先は、同じやり方では増えません。

レッドチーミングで判断に迷うのがどこまで試すかです。実際に走らせて、上積みの落ち方を測りました。

弱点が40種ある盤面を作りました。当たりやすさには偏りを持たせ、見つけやすいものと見つけにくいものを混ぜています。

無作為に600回ためし、種を変えて40回まわして平均を取りました。盤面の弱点の数は最初から分かっている状態です。

試行回数を動かす

試行回数  見つかった種類  全体に対する割合  直前の区間で新しく出た数
10回                 6.5種             16.2%                      6.5種
25回                13.2種             33.0%                      6.7種
50回                20.7種             51.7%                      7.5種
100回               28.4種             70.9%                      7.7種
200回               35.0種             87.4%                      6.6種
400回               39.0種             97.4%                      4.0種
600回               39.5種             98.9%                      0.6種

最初の10回で6.5種が見つかります。1回あたり0.65種という高い効率です。

400回から600回の区間では0.6種でした。1回あたり0.003種で、200分の1以下に落ちています。

残るのは見つけにくいもの

600回でも98.9%です。残った0.5種は、当たりにくい設定にしてある弱点です。

実務でも同じ形になります。素直な攻撃はすぐ塞がれるので、残るのは手の込んだものです。

出典も同じ点をただし、素直な攻撃の試行は、既存の安全側の調整で容易に捕まる可能性があると述べています。

1種あたりの費用が、途中から200倍になる

試行の単価は変わりません。1種を見つけるための試行回数だけが、後半で跳ね上がります。

レッドチーミングの費用は試行回数に比例します。ところが成果は比例しません。

前の節の表から、1種を見つけるのに要した試行回数を出します。最初の10回では1.5回に1種です。

400回から600回の区間では、200回で0.6種でした。333回に1種という計算になります。

人手だと桁が変わる

自動で試すなら333回も回せます。人手で1回ずつ作る場合は、その回数が現実的ではありません。

出典もこの点を手作業によるレッドチーミングの過程は、時間も資源も多く費やすと述べています。

だからこそ、人手は上積みが止まってから使います。前半の量は自動でこなせます。

打ち切りの決め方

1. 区間を決める。100回ごとなど、同じ幅で区切る
2. 上積みを数える。その区間で新しく出た種類
3. 止める。2区間続けて上積みがほぼ0なら打ち切る
4. 手を変える。別の角度で試し、上積みが戻るか見る

3番目で終わりにしないのが要点です。上積みが0なのは、そのやり方で出尽くしただけかもしれません。

自動で量をこなし、人は角度を足す

同じやり方を続けても上積みは戻りません。人が入るのは、試行を増やす側ではなく手を変える側です。

レッドチーミングを続ける形にするには、自動と人の役割を分けます。

この計測は1つのやり方で無作為に試した場合です。上積みが落ちるのは、そのやり方で届く範囲を掘り尽くしたからです。

角度を変えるとは

1. 形を変える。空白や記号、別の文字体系で崩す
2. 経路を変える。入力ではなく、読み込ませる文書に混ぜる
3. 回数を分ける。1回で言わず、何度かに分けて誘導する
4. 役割を変える。別の立場からの依頼として書く

どれも盤面そのものを差し替える操作です。同じ盤面で試行を増やしても、この計測のとおり0.6種しか増えません。

形を変える手の効きはジェイルブレイク対策の記事で測っています。空白をはさむだけで検知率が0%になりました。

組み合わせる

出典も進め方を危険性の評価に最も効く進め方は、潜在的な危険を洗い出す自動の道具と、より深い洞察のための専門家による分析を組み合わせるものであるとしています。

自動が担うのは前半の量です。人が担うのは、次にどの盤面を試すかという判断です。