失敗率が2%から6%へ悪化した版を、5%に流しました。気づくまでは0.8分です。
そこから戻すのに60分かけると、影響は292件になります。1分で戻せば9件です。
影響件数は、戻すまでの遅れにほぼ比例します。気づいたあとの手順が結果を決めます。
モデルロールバックで効くのは気づいてから戻すまでの時間です。実際に走らせて測りました。
1秒に40件流れるサービスを置きます。現行の失敗率が2%、新版が6%です。気づくまでの件数も流す割合ごとに測りました。
流す割合 気づくまでの件数 気づくまでの時間 5% 1900件 0.8分 20% 750件 0.3分 50% 950件 0.4分 100% 400件 0.2分
どの割合でも1分未満で気づけています。失敗率が3倍に跳ねているので、差がすぐ出ます。
戻すまでの遅れ 流す 5% 流す 20% 流す 50% 流す 100% 1分 9件 25件 67件 112件 5分 28件 102件 259件 496件 15分 76件 294件 739件 1456件 60分 292件 1158件 2899件 5776件 240分 1156件 4614件 11539件 23056件
5%に流した列を縦に見てください。1分なら9件、60分なら292件です。32倍になります。
気づくまでの0.8分は、この表のどこにも効いていません。遅れの1分と240分の差のほうが桁違いに大きいからです。
出典もこの点を仕組みとして持っています。問題を早期に捉え、本番へ大きく影響する前に自動で是正措置を取る、自動切り戻しのような組み込みの安全策もあるという説明です。
気づいたあと放置した時間が、そのまま影響件数になる。
There are also built-in safeguards such as auto-rollbacks that help you catch issues early and automatically take corrective action before they significantly impact production.原文AWS「Deployment guardrails for updating models in production」（SageMaker AI 開発者ガイド） この内容の有効期限2027-02-18
監視の精度を上げる前に、戻す操作を測ります。多くの場合、遅れているのは後ろ側です。
モデルロールバックの話をすると、検知の精度を上げる方向に議論が向きがちです。この計測はその向きを否定します。
気づくまでは0.8分でした。仮にこれを0.1分まで縮めても、減るのは0.7分ぶんの影響だけです。
5%に流した場合、0.7分ぶんは3件にあたります。同じ努力を戻す側に向ければ、60分を5分にするだけで264件減ります。
1番目と2番目は、書いておけば消えます。深夜に当番が1人で戻せるかどうかが基準です。
遅れを消す最短の道は、条件を決めて自動で戻すことです。出典も本番で動いている現行のモデルから新しいモデルへの切り替えを制御できると述べています。
自動にするなら、戻す条件を先に数字で置きます。カナリアリリースの記事では、その条件に必要な件数を測っています。
検知を0.7分速めるより、戻しを55分速めるほうが効く。
Using the fully managed deployment options, you can control the switch from the current model in production to a new one.原文AWS「Deployment guardrails for updating models in production」（SageMaker AI 開発者ガイド） この内容の有効期限2027-02-18
戻す操作は、出すときの決め方で決まります。あとから用意することはできません。
モデルロールバックを速くするには、出すときに戻せる形にしておく必要があります。出典もこれを一連の選択肢として扱っています。
その位置づけは本番の機械学習モデルを更新するための、一連のモデル配置の選択肢であるというものです。出し方と戻し方が対になっています。
2番目を忘れやすくなります。モデルだけ戻しても指示文が新しいままだと、元の動きに戻りません。
処理の結果が外に出ていると、版を戻しても消えません。送ったメールや書き込んだ台帳は、戻す対象の外です。
この計測の影響件数も、その意味では「起きてしまった件数」です。戻したあとの後始末は別に要ります。
戻せる状態は、出すときに決まっている。
失敗の起き方は各件が独立という置き方です。実際の悪化は特定の入力に偏るので、気づくまでの時間はもっと延びることも縮むこともあります。影響件数も、失敗率の差だけを数えた単純な形です。ここで見せているのは、気づく速さより戻す速さのほうが結果を大きく動かすという関係です。
Deployment guardrails are a set of model deployment options in Amazon SageMaker AI Inference to update your machine learning models in production.原文AWS「Deployment guardrails for updating models in production」（SageMaker AI 開発者ガイド） この内容の有効期限2027-02-18
同じ課題を持つ会社にとって、動いている設定は「作る時間」を買えるということです。ServiceDockは自作のワークフローやテンプレートを出品できるマーケットプレイスです。手数料や出品の流れは出品者向けページにまとまっています。
出品の仕組みを見る