カナリアリリースとは｜1%に絞ると気づくのに7万件、被害は12件で済んだ

1%に絞ると気づくのに7万件、被害は12件で済んだ

流す割合を下げると、気づくまでの総件数は増えます。その間に傷つく件数は逆に減ります。

カナリアリリースは、新版を一部にだけ流して様子を見る出し方です。出典もこの形を定義しています。

その定義は変更を部分的かつ期間を限って配置し、それを評価することというものです。割合と期間の2つを決める必要があります。

計測に使った条件

現行の失敗率を2%として、失敗率の違う新版を用意しました。差が統計の目安を超えた時点で気づいたものとします。

種を変えて40回まわし、中央値を取りました。気づくまでの総件数と、その間に新版側で余分に失敗した件数を並べます。

割合を動かす

新版の失敗率  流す割合  気づくまでの総件数  うち新版に流れた件数  新版側の失敗
2.5%          1%                   522000件                 5126件           30件
2.5%          5%                    91000件                 4549件           29件
2.5%          20%                   42500件                 8315件           41件
2.5%          50%                   33500件                16841件           82件

3.0%          1%                    70500件                  719件           12件
3.0%          5%                    29000件                 1469件           16件
3.0%          20%                   11000件                 2223件           24件
3.0%          50%                    8500件                 4252件           44件

4.0%          1%                    31000件                  297件            8件
4.0%          5%                     7000件                  349件            9件
4.0%          20%                    3500件                  725件           15件
4.0%          50%                    2500件                 1288件           27件

6.0%          1%                    11500件                  111件            6件
6.0%          5%                     3500件                  174件            7件
6.0%          20%                    1500件                  288件           11件
6.0%          50%                    1000件                  505件           21件

失敗率3%の行を見てください。1%に流すと7万500件かかりますが、余分な失敗は12件です。

50%に流せば8500件で気づけます。ところが余分な失敗は44件と、3倍以上になります。

総件数と被害の向きが逆です。どちらを優先するかで割合が決まります。

悪化が小さいほど、必要な件数が跳ね上がる

見逃したくない幅を狭くすると、必要な件数が急に増えます。1日の件数が足りないと判定が終わりません。

カナリアリリースで見落としやすいのが、悪化の幅によって必要な件数が大きく変わる点です。同じ表を縦に見ます。

1%に流した場合、失敗率6%への悪化なら1万1500件で気づきます。4%なら3万1000件、3%なら7万500件です。

幅が半分になると、必要な件数はおよそ4倍です。2.5%への悪化になると52万2000件で、桁がもう1つ上がります。

1日の件数と突き合わせる

1日1万件しか流れないサービスなら、1%の割合では7日かかっても3%への悪化に気づけません。

その間、次の変更も出せません。出典もいらだたしいことに、これらの要件は互いに相反しうると書いています。

詰まったときの手

1. 割合を上げる。被害を許容して速く判定する
2. 幅を広げる。細かい悪化は見逃す前提にする
3. 別の指標を見る。失敗率より動きの大きい値を使う
4. 期間を延ばす。出す頻度を落として時間を稼ぐ

3番目が効くことがあります。失敗率は動きが鈍いので、応答時間や再試行の回数のほうが早く動きます。

割合は、1日に流れる件数から逆算する

先に決めるのは割合ではありません。見逃したくない幅と、判定に使える時間から引きます。

カナリアリリースの割合は、勘で決められがちです。この計測の表があれば逆算できます。

決める順番

1. 現行の失敗率を測る。比較の基準になる
2. 見逃したくない幅を決める。2%が3%になったら止めるのか
3. 使える時間を決める。何時間で判定を終えたいか
4. 割合を引く。その時間に流れる件数から選ぶ

1秒に40件流れるサービスなら、1時間で14万4000件です。3%への悪化でも1%の割合で足ります。

1日1万件なら話が違います。3%への悪化を1日で判定したいなら、割合を50%まで上げる必要があります。

良い変更を止めない

割合の設計は、悪い変更を止めるためだけのものではありません。良い変更を通すためでもあります。

出典はこの仕組みをカナリアは実質的にA/Bテストの手続きであると位置づけています。比べる相手がいて初めて成り立ちます。

件数が足りないまま「差がありそう」で止めると、良い変更まで止まります。判定の組み方はA/Bテストの記事で扱っています。