【入門編】Datadogの監視アラート設定：Slack通知・PagerDuty連携とエスカレーション設計 – 運用監視・オブザーバビリティ活用バイブル

運用監視の「ノイズ」に殺されないために：Datadogアラート設計の極意

こんにちは。オブザーバビリティの世界へようこそ。

現場でよく耳にする「Datadogのアラートが鳴りすぎて、もう誰も見ていない」という悲劇。これは、単に設定を怠った結果ではなく、「何を監視すべきか」という設計思想の欠如から生まれます。

今日は、ただアラートを飛ばすだけの作業を卒業し、「本当に対応すべき障害だけを、適切な担当者に届ける」ための、現場で震えるほど役に立つエスカレーション設計の極意を伝授します。これをマスターすれば、あなたの睡眠時間は劇的に守られるはずです。

—

1. 「HelloWorld」から始める：Datadog Monitorの真髄

まず、Datadogの「Monitor」は、単なる閾値監視ではありません。「サービスの健全性を判断するロジック」です。

一番の基礎となる「CPU使用率監視」を例に、精度高い設計を学びましょう。

ダメな設定（ノイズの温床）

CPUが80%を超えたら即通知する。
（理由：スパイクで一瞬80%を超えただけで深夜に起こされるエンジニアの気持ちを考えてください）

賢い設定（現場の知恵）

CPUが「過去5分間の平均で」80%を超えたら通知する。
「3分間以上継続した場合にのみ」アラートを発火させる。

Monitor設定の考え方
avg(last_5m):avg:system.cpu.idle{host:production-web-01} < 20 意味：過去5分間の平均で、空きCPU(idle)が20%未満（＝使用率80%以上）になったら対象 ポイント： `Evaluation Delay` や `Renotify`（再通知）を適切に使うことで、一過性のノイズは無視し、真の障害のみを検知する「フィルタリング」が可能です。

—

2. Slack通知を「思考停止」させないルーティング

Slackに「アラートが来ました」とだけ流れていませんか？現場のエンジニアが通知を見た瞬間に「何が起きたか」を理解できるよう、Notification Messageをテンプレート化しましょう。

推奨テンプレート：

{{#is_alert}}
🚨 CRITICAL: {{monitor_name}}

サービス: {{service_name}}
影響範囲: {{host.name}}
ログを確認: {{link_to_logs}}
ダッシュボード: {{link_to_dashboard}}
担当者: @team-sre

極意： `@team-sre` のように、通知先にメンションを含めるのは基本です。さらに、「なぜ今、これが問題なのか？」というコンテキスト（リンク）をURLで直結させることで、調査時間を数分短縮できます。

—

3. PagerDuty連携：深夜の呼び出しを「選別」する

PagerDutyへの連携は、「誰が対応すべきか」を自動化する最強の武器です。しかし、すべてのアラートをPagerDutyに流すと、エンジニアは燃え尽きます。

重要度による階層化（エスカレーション設計）

1. Sev-1 (緊急): システムダウン、データ不整合など。→ PagerDutyで即時電話呼び出し。
2. Sev-2 (警告): エラーレート上昇、レイテンシ悪化。→ Slack通知のみ。（日中の対応でOK）
3. Sev-3 (情報): ディスク容量80%など。→ 週報または集約通知へ。

設定のヒント：
DatadogのMonitor設定画面で `Notify your team` を選択する際、PagerDutyのサービスごとに連携先を分けておきましょう。SREチームには「インフラの異常」、開発チームには「アプリケーションのエラー」と、責務に応じたルーティングを行うのが、組織を疲弊させない鍵です。

—

4. 最後に：ノイズを減らすための「魔法の質問」

アラートを設定するたびに、自分にこう問いかけてみてください。

> 「このアラートが鳴った時、私は今すぐキーボードを叩いて修正作業を始めるか？」

もし答えが「NO」なら、そのアラートは「通知（Notification）」ではなく「ダッシュボード上の指標」にすべきです。通知は、「人間の注意」という最も高価なリソースを消費します。それを浪費させないことこそが、優れた運用監視アーキテクトの矜持です。

—

まとめ：あなたの運用をアップデートしよう

1. Monitorは平均値と継続時間でフィルタリングする。
2. Slack通知には、解決への最短距離（ログ・ダッシュボード）を添える。
3. PagerDutyは「今すぐ起きて対応すべきもの」に限定する。

最初は難しく感じるかもしれませんが、まずは「一番うるさいアラート」を一つだけ選んで、この設計思想で修正してみてください。静かな通知画面は、あなたのチームの健康と、サービスの安定性に直結します。

さあ、次はあなたの番です。最高の監視環境を、自分の手で作り上げていきましょう。応援しています！