ダッシュボードは「墓標」ではない：Datadogでシステムの本質を射抜くためのアーキテクト思考
多くの現場で、Datadogのダッシュボードは「とりあえずCPUとメモリを並べただけの展示会場」になっている。それは運用ではない。単なる「状況の追認」に過ぎない。
真のオブザーバビリティとは、「システムが沈黙している間に、何が起きようとしているか」を予見することだ。本稿では、GUIをポチポチ操作するだけの初心者から脱却し、コードとしてインフラを掌握する「オブザーバビリティ・エンジニア」のための極意を伝授する。
—
1. 黄金の指標：USEメソッドとREDメソッドの「その先」へ
教科書通りの指標（CPU 80%超えでアラートなど）は、現代のマイクロサービス環境ではノイズだ。我々が見るべきは「システムが本来の性能を発揮できているか」という定量的根拠である。
必須メトリクス選定の鉄則
- レイテンシ（Latency）: 平均値ではなく、P99またはP99.9を見る。平均値は外れ値を殺し、致命的なボトルネックを見えなくする。
- 飽和度（Saturation）: CPU使用率よりも「キューの深さ」や「スレッドプールの待ち時間」を優先する。
- エラーレート（Errors）: HTTP 5xxだけでなく、「ビジネスロジックの不整合（4xxの異常増大や、特定のドメインエラー）」をカスタムメトリクスとして追跡せよ。
2. ダッシュボードの完全自動化：TerraformとDatadog APIの融合
マウスで設定したダッシュボードは、システム変更に伴い即座に陳腐化する。これを防ぐ唯一の解は、IaCによるダッシュボードのコード化だ。
以下は、Terraformを使って「特定のサービスグループ」のダッシュボードを自動生成するためのスニペットである。これをパイプラインに組み込み、デプロイと同時に監視を更新せよ。
Datadog DashboardをTerraformで管理する
resource “datadog_dashboard” “service_health” {
title = “Service: ${var.service_name} Core Metrics”
description = “自動生成された重要指標ダッシュボード”
layout_type = “ordered”
# P99レイテンシを可視化するウィジェット
widget {
timeseries_definition {
request {
q = “avg:p99:http.request.duration{service:${var.service_name}}.rollup(avg, 60)”
display_type = “line”
}
title = “P99 Latency (ms)”
}
}
# 飽和度を監視するカスタムクエリ
widget {
timeseries_definition {
request {
q = “max:go.goroutines{service:${var.service_name}}”
display_type = “area”
}
title = “Goroutine Saturation”
}
}
}
3. 知的ハック：Datadog Agentのメモリ消費を極限まで最適化する
Datadog Agentは強力だが、数百ノードに展開すればそれ自体がリソースを食い合うモンスターになる。特に高スループットな環境では、以下のハックが効く。
Agentのオーバーヘッド削減術
1. Check Intervalの最適化: 重要なメトリクス以外は `60s` ではなく `300s` に設定する。`conf.yaml` で調整が可能だ。
2. DogStatsDのバッファ管理: 大量のカスタムメトリクスを送る場合、UDPバッファサイズをOSレベルで調整せよ。
3. Logsのフィルタリング: すべてのログをDatadogに送るな。Agent側で `log_processing_rules` を使い、不要なdebugログを捨ててから転送せよ。
/etc/datadog-agent/conf.d/app.d/conf.yaml
logs:
- type: file
path: /var/log/app.log
service: my-app
source: go
# エラー以外は送らないことで帯域とコストを劇的に削減
processing_rules:
- type: exclude_at_match
name: filter_info_logs
pattern: ‘level=”info”‘
4. 障害の予兆検知：Anomaly Detectionの真髄
人間が「CPUが80%になった」と判断する頃には、既にユーザーは離脱している。Datadogの Anomaly Detection を活用し、過去のトレンドから逸脱した瞬間に検知せよ。
- seasonal: 1日の周期性（夜間バッチなど）を考慮する。
- robust: 外れ値に引きずられない統計処理を行う。
「しきい値」による監視を卒業し、「振る舞い」による監視へ移行すること。これがエキスパートと初心者の決定的な分水嶺だ。
5. 終わりに：オブザーバビリティは「哲学」である
最後に、私が数十年のキャリアで学んだ最も重要なことを伝える。「ダッシュボードは、見るためのものではなく、問いを立てるためのものだ」。
ダッシュボードを見て、「なぜこのレイテンシは高いのか？」と問い、そこからAPM（分散トレーシング）へドリルダウンし、ログで原因を特定する。この一連のフローが高速に行えるようダッシュボードを設計せよ。
道具（Datadog）に使われるな。道具を制御し、システムの声を聞け。それが、この過酷な運用現場を生き抜く唯一の道だ。
—
追伸：もしあなたが、未だに手動でダッシュボードを更新しているなら、今すぐそのマウスを置き、Terraformをインストールすることだ。コードは嘘をつかないが、人間の記憶は簡単にバグを混入させるのだから。