Prometheus Blackbox Exporter：外形監視の「真実」を捉える極限のアーキテクチャ
「サービスは生きているが、ユーザーには届いていない」。
分散システムにおいて、これほど絶望的な状況はない。Prometheusが内部メトリクスを収集する一方で、Blackbox Exporterは「ユーザー視点」という最後の砦を守るための強力な武器だ。
多くのエンジニアはBlackbox Exporterを単なる「死活監視ツール」と誤解している。だが、真のアーキテクトにとって、これは「システムと外部世界の境界線における信頼性スコアリング・エンジン」である。
今回は、現場の生産性を劇的に向上させる、実戦的な構築術を伝授する。
—
1. なぜ「ブラックボックス」が必要なのか？
Prometheusの`scrape_configs`で自社メトリクスを追うのは当然の義務だ。しかし、Ingressの背後でSSL証明書が期限切れになり、ロードバランサーが503を返している事実は、内部メトリクスには現れない。
Blackbox Exporterは以下のプロトコルを標準でサポートし、スタックの外側からシステムを「観測」する。
- HTTP/HTTPS: ステータスコード、レスポンスボディの正規表現マッチ、SSL期限監視。
- TCP/ICMP: ポート疎通、ネットワーク遅延の可視化。
- DNS: 期待したIPが解決できるか。
—
2. 実践：ベストプラクティスな設定構成
設定ファイルがスパゲッティ化しているチームは、今すぐ構成を見直せ。モジュール化こそが、障害時の切り分けスピードを左右する。
`blackbox.yml` の神構成
ポイントは、「プロトコルごとのモジュール分離」と「タイムアウトの厳格化」だ。
modules:
# Webサイトの外形監視（SSL期限含む）
http_2xx_web:
prober: http
http:
valid_http_versions: [“HTTP/1.1”, “HTTP/2.0”]
preferred_ip_protocol: “ip4”
tls_config:
insecure_skip_verify: false # 本番では必ずfalse
follow_redirects: true
timeout: 5s # 5秒以内にレスポンスがないなら「死」と見なす
# 外部API監視（JSONのバリデーションまで行う）
api_json_check:
prober: http
http:
method: GET
fail_if_body_not_matches_regexp:
- ‘”status”:”ok”‘ # APIが正常なレスポンスボディを返しているか
—
3. SSL証明書監視：アラートの「解像度」を上げる
SSL期限監視で最もやってはいけないのが、「期限切れ直前に通知する」ことだ。現場では30日前、14日前、7日前の段階的なアラート設計が必須となる。
Prometheus Alerting Rules
groups:
- name: ssl_expiry
rules:
- alert: SSLCertExpiringSoon
# probe_ssl_earliest_cert_expiryは秒単位。30日を秒に換算
expr: probe_ssl_earliest_cert_expiry – time() < 30 24 3600
for: 1h
labels:
severity: warning
annotations:
summary: "SSL証明書が30日以内に期限切れになります"
description: "対象: {{ $labels.instance }} の証明書が残り {{ $value | humanizeDuration }} で期限切れです"
---
4. チーム開発を加速する「隠し技」と生産性向上ツール
① Prometheus Web UIのショートカット
PrometheusのブラウザUIを使っているなら、この操作を指に覚え込ませろ。
- `Shift + Enter`: クエリの実行（マウスに触れるな）。
- `Ctrl + Enter`: 複数行でのクエリ入力。
- Graphタブのドラッグ: 特定の時間範囲を瞬時にズーム。
② 必須ブラウザプラグイン: 「Prometheus Query Helper」
`Prometheus Query Helper`をChromeに入れると、Prometheusのプロンプトでメトリクス名がインテリセンス（オートコンプリート）される。これだけで調査時間は3割減る。
③ 設定共有のルール：`jsonnet` の導入
設定ファイルを直接YAMLで管理するのは中規模までだ。チームが大きくなったら [jsonnet-prom-exporter](https://github.com/prometheus-community/jsonnet-exporter) を使い、設定をコードとして管理しろ。環境ごとの差異（Prod/Stg）を関数として切り出し、DRY（Don’t Repeat Yourself）を徹底するのだ。
—
5. テックリードからの提言
多くのエンジニアは「監視ツール」を「通知を出すためのもの」だと考えている。だが、真のオブザーバビリティとは、「システムに何が起きているかを、ユーザーが気づく前に理解すること」だ。
- HTTPレスポンスタイムのヒストグラムを監視せよ: 平均値を見るな。P99（99パーセンタイル）の変化こそが、ユーザー体験の劣化の予兆だ。
- プローブの間隔を調整せよ: 10秒ごとの監視は「ノイズ」を生む。まずは1分、クリティカルなパスのみ30秒。このチューニングこそが運用負荷を下げる鍵だ。
Blackbox Exporterは、君たちの書いたコードが「外の世界」でどう扱われているかを教えてくれる唯一の鏡だ。この鏡を磨き上げ、誰よりも早く、ユーザーの不満を察知できるエンジニアであれ。
さあ、ターミナルを開いて監視の解像度を一段階上げよう。君のコードは、もっと信頼されるはずだ。