オブザーバビリティの世界へようこそ。システムが複雑化する現代において、「何が起きているか」をただ眺めるだけでは不十分です。「何が起きるか」を予測し、ノイズを排して「本当に対応すべき事象」だけを抽出する。これこそが、一流のエンジニアが取り組むべき監視の神髄です。
今日は、そのオブザーバビリティのフロントラインである「Grafana Alerting」を、実戦で使えるレベルまで最短で叩き込みましょう。
—
1. Grafana Alerting：旧来の監視との決定的違い
かつての監視は「閾値を超えたら通知する」という単純なものでした。しかし、これでは深夜の誤報でエンジニアが疲弊するだけです。
現在のGrafana Alertingは、「アラート生成（Rule）」と「通知先（Contact Point）」が分離されています。これにより、複雑な通知ルーティングが可能になり、例えば「警告レベルならSlackへ」「クリティカルならPagerDutyで即座に電話」といった運用が、Grafanaの中で完結するようになりました。
—
2. 連絡先ポイント（Contact Points）の設定：通知の出口を作る
まずは、「どこに通知を投げるか」を定義します。Slackを例に説明しましょう。
1. Slackアプリを作成: [Slack API](https://api.slack.com/)でWebhook URLを発行します。
2. Grafanaで設定:
- 左メニュー `Alerting` > `Contact points` > `New contact point` を選択。
- `Name` に「Slack-Team-A」など分かりやすい名前をつけます。
- `Type` で `Slack` を選択し、先ほど発行したWebhook URLを貼り付けます。
【現場の知見】: ここで重要なのは「通知のグループ化」です。デフォルトでは通知が細切れに来ますが、`Grouping` 設定を使うことで、関連するアラートを一定時間待ち、一つの通知にまとめて受け取ることができます。これが「Slackが通知で埋め尽くされる」事態を防ぐ最強の防御策です。
—
3. アラート・ルール（Alert Rules）の作成：ノイズのない監視の要
次に、何をトリガーにするかを定義します。Grafanaのアラートは「クエリ」の結果に基づいて評価されます。
- ステップ1: `Alerting` > `Alert rules` > `Create alert rule` をクリック。
- ステップ2 (Define query): Prometheus等のデータソースを選択し、クエリを書きます。
- 例：`rate(http_requests_total{status=”5xx”}[5m]) > 10` （5分間の5xxエラーが10回を超えたら）
- ステップ3 (Set alert evaluation behavior): ここが肝です。
- `Folder` と `Group` を作成します。
- `Evaluation interval`（評価間隔）は、サービスの特性に合わせて。急を要するなら1m、ゆとりがあるなら1m〜5mが一般的です。
- 最重要: `Pending period`（保留期間）を必ず設定してください。例えば「1分間」に設定すると、閾値を超えてから1分間状態が継続した場合のみ発報します。これにより、一瞬のスパイクによる誤報を劇的に減らせます。
—
4. 障害時の通知テストと運用上の注意点
設定が終わったら、必ず「テスト」を行ってください。
- テスト方法: `Contact points` の設定画面にある `Test` ボタンを押すと、Slackにサンプルメッセージが飛びます。これで疎通は確認できますが、「アラート自体のテスト」も忘れてはいけません。
- 強制発報テスト: ルールの閾値を極端に低く（例：`> 0`）設定し、強制的にアラートを発生させて、Slackに通知が届くか確認しましょう。確認後は必ず設定を元に戻すのを忘れずに！
【現場で震えるほど役立つ、運用上の鉄則】
1. 「そのアラート、本当に今対応が必要ですか？」:
夜中の3時に叩き起こしてまで直すべきか？を自問してください。そうでないなら、それはアラートではなく「Dashboardで見るべきメトリクス」です。
2. 通知にはコンテキストを詰め込む:
Slackの通知テンプレート（`Annotation`）には、必ず「Runbook（障害対応手順書）」へのリンクを記載しましょう。アラートを受けた人間が、即座に「何をすべきか」を判断できるようにするのが、アーキテクトの責任です。
3. アラートの「死活監視」:
アラート機能自体が壊れていたら元も子もありません。Grafanaのシステムメトリクス自体を監視し、アラート評価プロセスが正常に動いているかも見守る。これが真のオブザーバビリティです。
—
まとめ
Grafana Alertingを使いこなすということは、単に通知を飛ばすことではありません。「システムが発するノイズの中から、真実のシグナルを見極め、適切なタイミングで人間に伝える」というコミュニケーションのデザインです。
まずはシンプルな通知から始め、徐々にグループ化やルーティングを洗練させてみてください。これさえマスターすれば、障害対応のストレスは驚くほど減り、あなたは本来の価値ある開発業務に集中できるようになります。
さあ、次のデプロイから「静かなる監視」を始めてみましょう。応援しています。