本当の最大が1400の山を180点にまとめて描くと、平均で丸めた場合は193にしか見えませんでした。
最大で丸めれば1400のまま残ります。丸め方を選ぶだけで、見える山が7倍変わります。
描くときに点はまとめられます。まとめ方を平均にすると、短い山は周りに薄められます。
Grafanaは、時系列のデータをグラフに変えます。公式はGrafanaは時系列のデータをグラフに変え、多くのデータ源につなぐ差し込みの仕組みによって、指標・記録・追跡を1か所に集められると述べています。
画面の幅には限りがあるので、点はまとめられます。何が失われるのか実際に丸めて数えました。
1日ぶん（86,400点）の値。ふだんは 120前後で、20秒の山が 12回ある
本当の最大は 1400。点の数を減らして描くとき、丸め方で見える最大がどう変わるか
描く点の数 1点にまとめる秒数 平均で丸める 最大で丸める 平均で見た場合の見かけ
3600点 24秒 1191 1400 本当の85%
1440点 60秒 561 1400 本当の40%
720点 120秒 351 1400 本当の25%
360点 240秒 246 1400 本当の18%
180点 480秒 193 1400 本当の14%
180点まで減らすと、平均で丸めた最大は193です。本当は1400あります。
最大で丸めれば、どの幅でも1400のままです。同じデータで、設定ひとつの差でした。
最大で丸めれば山は残りますが、ふだんの水準は分からなくなります。どの点も山の値になるからです。
だから使い分けます。山を探す画面は最大、水準を見る画面は平均です。1つの画面で両方を見ようとすると、どちらかを失います。
取りに行く間隔そのものの効き方はPrometheusの記事で扱っていて、そこで消えた山はどう描いても戻りません。
同じデータでも、丸め方で見える最大が7倍違う。
Grafana turns time-series data into graphs, with a plugin framework that connects to many data sources so you can bring metrics, logs, and traces into one place.原文Grafana 公式ドキュメント「Introduction to Grafana」 この内容の有効期限2027-02-18
しきい値だけを上げると見逃しが増えます。連続条件を足すと、誤報だけが減ります。
Grafanaでは、警報の決まりを画面上で組み立てられます。公式はもっとも大切な指標について、目で見ながら警報の決まりを定められると述べています。
決めるのはしきい値だけではありません。組み合わせを変えて実際に鳴らして数えました。
200,000点。ふだんは 100 を中心に裾の長い形でばらつき、本当の異常が 40回（各25点、175前後）ある しきい値と「続けて何点超えたら鳴らすか」を変えて、誤報と見逃しを数える しきい値 1点連続 2点連続 3点連続 5点連続 140 誤報17721回 / 捕捉37件 誤報1175回 / 捕捉40件 誤報38回 / 捕捉40件 誤報0回 / 捕捉40件 180 誤報1515回 / 捕捉40件 誤報0回 / 捕捉40件 誤報0回 / 捕捉26件 誤報0回 / 捕捉7件 240 誤報0回 / 捕捉0件 誤報0回 / 捕捉0件 誤報0回 / 捕捉0件 誤報0回 / 捕捉0件
いちばん良かったのは140で5点連続です。誤報0回で40件すべてを捕まえました。
しきい値を180に上げると、5点連続では捕捉が7件まで落ちます。厳しくした結果、見逃しが増えました。
しきい値を上げると、異常そのものが条件に届かなくなります。異常は175前後なので、240では一度も鳴りません。
連続条件は違います。ばらつきによる一瞬の跳ねは続かないので、誤報だけが落ちます。
誤報を減らしたいときは、まず連続条件を足します。しきい値を上げるのは、見逃しと引き換えになります。
Visually define alert rules for your most important metrics.原文Grafana 公式ドキュメント「Introduction to Grafana」 この内容の有効期限2027-02-18
描くたびに問い合わせが出ます。開いたままにされると、その回数が出続けます。
Grafanaは、置き場に問い合わせて描きます。公式は指標・記録・追跡を、どこに保存されていても問い合わせ、描き、警報を出し、探れるようにすると述べています。
描くたびに問い合わせが出ます。どれだけになるのか実際に数えてみました。
同時に開いている人 30人。1つの枠が平均 1.6 本の問い合わせを出す 枠の数と更新の間隔を変えて、1秒あたりの問い合わせ回数を数える 枠の数 5秒ごと 15秒ごと 60秒ごと 300秒ごと 8枠 76.8件/秒 25.6件/秒 6.4件/秒 1.3件/秒 20枠 192.0件/秒 64.0件/秒 16.0件/秒 3.2件/秒 40枠 384.0件/秒 128.0件/秒 32.0件/秒 6.4件/秒
40枠を5秒ごとに更新すると、384.0件/秒です。誰も操作していなくても出続けます。
60秒ごとに変えれば32.0件/秒です。12分の1になりました。
枠を40から8に減らしても5分の1です。間隔を5秒から60秒に変えるほうが効きます。
しかも枠を減らすと見えるものが減ります。間隔を延ばしても、見えるものは変わりません。
3つの計測はいずれも手元で書いた模型で、実際のGrafanaを動かしたものではありません。丸め方は平均と最大の2つだけを試しており、実際にはほかの選び方もあります。警報の計測は、ばらつきを裾の長い形と置いた上での結果で、この形が変われば最良の組み合わせも変わります。1枠1.6本や同時30人も置いた値です。ここで見せているのは、丸め方だけで見える最大が7倍変わるという点と、誤報を減らすならしきい値より連続条件が先だという点の2つです。
Grafana open source software enables you to query, visualize, alert on, and explore your metrics, logs, and traces wherever they are stored.原文Grafana 公式ドキュメント「Introduction to Grafana」 この内容の有効期限2027-02-18
同じ課題を持つ会社にとって、動いている設定は「作る時間」を買えるということです。ServiceDockは自作のワークフローやテンプレートを出品できるマーケットプレイスです。手数料や出品の流れは出品者向けページにまとまっています。
出品の仕組みを見る