監視を入れた後で必ずぶつかるのが「アラートが多すぎて誰も見なくなる」問題です。通知設計の勘所をまとめます。
アラート疲れは監視を殺す
通知が多すぎると、人は慣れて無視するようになります。すると本当に重要なアラートも見逃す。「オオカミ少年」状態で、監視があるのに障害に気づけない、という本末転倒が起きます。
「通知すべきか」の基準
私は、アラートを出す前に一つ問います——それは人が今すぐ動くべきものか？
- 今すぐ対応が必要 → 即時通知（電話/チャット）
- 今日中に見ればいい → まとめて日次レポート、またはダッシュボードで確認
- 情報として記録したいだけ → 通知せずログ/グラフに残す
「知っておきたい」と「今すぐ対応が必要」を分けるのが第一歩です。
しきい値は「行動につながる値」に
ディスク使用率を80%で鳴らすか90%で鳴らすかは、そこから枯渇までに対応できる時間で決めます。増加が速い環境なら早めに、緩やかなら遅めに。固定の80%を全対象に当てるのではなく、対象ごとに調整します。
一過性のノイズを抑える
一瞬のスパイクで鳴るのを防ぐため、「N分間連続で超えたら」という条件（継続時間）を付けます。
- 悪い: CPU 90%を1秒でも超えたら通知（ノイズだらけ）
- 良い: CPU 90%が5分継続したら通知
重要度で通知先を変える
- Critical（サービス停止・枯渇直前）… 即時・エスカレーションあり
- Warning（予兆）… チャットに投げる程度
- Info … 通知せず記録のみ
定期的に棚卸しする
「よく鳴るけど毎回問題ないアラート」は、しきい値か条件が間違っています。放置せず、月次などで棚卸しして、鳴りすぎ・鳴らなさすぎを直します。監視は入れて終わりではなく、育てるものだと考えています。「本当に必要な通知だけが鳴る」状態を保つのが、結局いちばん障害に強い運用でした。