カバレッジとは｜行83.3%・分岐80.0%のテストが、実際の誤りは59.3%しか捕まえなかった

行83.3%・分岐80.0%のテストが、実際の誤りは59.3%しか捕まえなかった

カバレッジは通ったかどうかしか見ていません。通った結果が正しいかは別に確かめる必要があります。

カバレッジの数字が高いことと、テストが効いていることは別の話です。実際に走らせて差を出しました。

対象は送料の計算です。テストを2件だけ書いた薄い版と、境目の値を足した9件の厚い版を用意しました。

3つの見方で測ります。行を通ったか・分岐の両側を通ったか・コードを書き換えて気づけるかです。

3つ並べる

テスト            件数  行カバレッジ  分岐カバレッジ  変異の検出率
薄いテスト（2件）             2件         83.3%           80.0%         59.3%
厚いテスト（9件）             9件         91.7%           90.0%         88.9%

薄いテストの行カバレッジは83.3%です。この数字だけ見れば、そこそこ書けているように見えます。

ところが変異の検出率は59.3%です。コードを壊しても、4割は素通りしました。

通ることと確かめることは別

テスト2件は、たしかにほとんどの行を通ります。通ったあとの値を確かめていない行があるだけです。

たとえば境目の判定は、片側だけ試せば行としては通ります。境目そのものを試さなければ、そこの誤りには気づけません。

出典もこの点を問題は、高いカバレッジの数字が、質の低いテストでもあまりに容易に達成できてしまうことであると書いています。

行と分岐は、思ったほど離れない

分岐は行より厳しい見方です。それでも変異ほどは離れず、同じ傾向を示します。

カバレッジには段階があります。行より分岐のほうが厳しいとよく言われます。

3つの見方

1. 行。その行を1回でも通ったか
2. 分岐。条件が真の場合と偽の場合の両方を通ったか
3. 条件。かつ・またはの各項を両方の値で通ったか
4. 変異。書き換えたときにテストが落ちるか

下へ行くほど厳しくなります。4番目はカバレッジではありませんが、同じ軸の延長に置けます。

実際の差は小さい

この計測では、行と分岐の差は3.3ポイントと1.7ポイントでした。ほとんど動きません。

変異との差は24.0ポイントと2.8ポイントです。薄いテストほど、変異との差が開きます。

厚いテストの分岐で通らなかったのは1か所です。料金が負にならないか調べる分岐で、この計算では到達しません。

数字にしないほうがよい

3つのどれを使っても、1つの数字で品質を表すことはできません。薄いテストでも8割を超えます。

出典も同じ判断をテストのカバレッジは、テストがどれだけ良いかを表す数値としては、ほとんど役に立たないと述べています。

テストされていない部分を探す道具として使う

低い数字は問題を指します。高い数字は何も保証しないので、目標にはしません。

カバレッジの使い道は1つに絞れます。通っていない部分を見つけることです。

出典もこの位置づけをテストのカバレッジは、コードのうちテストされていない部分を見つけるための有用な道具であるとしています。

見つけたあとの手順

1. 通っていない行を出す。数字ではなく一覧を見る
2. 心配かどうか決める。壊れたら困る行かを判断する
3. テストを足す。心配な行にだけ足す
4. 残りは残す。到達しない行は、そのままでよい

4番目が要点です。この計測でも、通らなかった1行はそもそも到達しない分岐でした。埋める意味がありません。

目標にしない

数字を目標にすると、数字を上げる書き方が選ばれます。確かめないテストでも、行は通ります。

この計測の薄いテストがその例です。2件しかないのに、行では83.3%に届いています。

確かめているかどうかまで見たい場合は、書き換えをぶつけます。ミューテーションテストの記事で、その回し方を測っています。