こんにちは。現場の最前線で「アラートの嵐」と戦い、エンジニアのメンタルが削られていく様を何度も見てきたオブザーバビリティ・アーキテクトです。
「CPU使用率が80%を超えたらアラート」――この古典的な静的閾値の設定で、深夜に叩き起こされた経験はありませんか？ そのアラートの9割は、実は「放置しても問題ないノイズ」ではないでしょうか。
今日は、Grafanaが提供する最新兵器「Machine Learning」と「Grafana Asserts」を使って、「人間が閾値を決める」という不毛な作業から卒業し、システムに自己診断させる未来を皆さんと共有します。
—
1. なぜ「静的閾値」は悪なのか？
システムの負荷は時間帯や曜日で変動します。月曜の朝9時は高負荷でも正常、日曜の深夜に同じ負荷がかかれば異常事態です。静的閾値は「文脈（コンテキスト）」を理解できません。
ここで登場するのが、GrafanaのMachine Learning (ML)機能です。これはメトリクスの「過去の波形」から「今の振る舞いが普通か異常か」を統計的に判断します。
2. インストールとセットアップ：準備は5分で終わる
Grafana Cloudを利用している場合、ML機能は最初から組み込まれています。オンプレミスのGrafana OSSを使用している場合は、プラグイン構成を確認してください。
最も重要な基礎ステップ：
1. データソースの選定: PrometheusやInfluxDBなど、時系列データが溜まっているソースをGrafanaに接続。
2. ML機能の有効化: Grafanaメニューの `Machine Learning` をクリックし、「Create Job」を選択。
3. ターゲットの選択: `rate(http_requests_total[5m])` のような、ビジネス上最も重要な指標を選びます。
—
3. 「HelloWorld」的、動的異常検知の作成
まずは、最も基本的な「異常検知ジョブ」を作ってみましょう。
1. Jobの作成: `Create job` を押し、対象のクエリを入力します。
2. Sensitivity（感度）の設定: ここが肝です。最初は `3` (標準偏差) に設定してください。これが高いほど検知が鈍感に、低いほど敏感になります。
3. 季節性（Seasonality）: `Daily` を選んでください。これで「毎朝のログイン集中」を学習し、それを考慮した検知が可能になります。
設定のポイント：
Grafana ML Job設定の論理イメージ
target: “http_request_rate”
model_type: “prophet” # Facebook Prophetを用いた季節性予測モデル
sensitivity: 3.0 # 3σ（標準偏差の3倍）から外れたら異常とみなす
training_window: “7d” # 過去7日間のデータを学習して「平常」を定義
この設定だけで、Grafanaは「今のアクセス数は、先週のこの時間帯と比べて異常に高いか？」を判断し始めます。
—
4. Grafana Asserts：根本原因分析（RCA）を加速させる魔法
「異常検知しました！」という通知だけでは、復旧はできません。ここでGrafana Assertsの出番です。これは単なるアラートではなく、「なぜ異常が起きたか」を自動で相関分析してくれる機能です。
- 動作の仕組み:
1. メトリクスに異常が発生。
2. Assertsが自動的に、同時刻に変化している他のメトリクス（エラー率、レイテンシ、依存サービスの負荷）を横断検索。
3. 「異常のトリガーとなった犯人」をダッシュボードに提示。
現場の裏技：
Assertsを使いこなすには、「タグ付け（Labeling）」が全てです。`service=”order-api”` や `env=”prod”` といったメタデータを適切に付与しておくだけで、AssertsはAIの力で驚くほど正確な相関関係を導き出します。
—
5. アラート疲弊からの脱却：成功へのロードマップ
最後に、皆さんが今日から始めるべき「心構え」を伝授します。
1. まずは「監視」から「予測」へ: 全てのアラートを機械学習に置き換える必要はありません。まずは「一番気になっているが、誤検知が多い指標」を一つだけML Jobに登録してください。
2. フィードバックループを回す: 異常検知が外れたら、Sensitivityを微調整します。この「チューニング作業」こそが、オブザーバビリティの神髄です。
3. 人間にしかできない判断に集中: 機械が「何が起きているか（What）」を教えてくれるようになったら、私たちは「なぜ起きたか（Why）」や「ビジネスへの影響（Impact）」を考えるという、エンジニアとして最も創造的な作業に時間を使いましょう。
—
終わりに：
監視の自動化は、単なる省力化ではありません。「システムと対話する」ための贅沢な時間を作るための投資です。
Grafana MLとAssertsは、皆さんの「監視という名の作業」を「エンジニアリング」へと昇華させてくれるはずです。さあ、今夜はアラートに起こされることなく、ぐっすりと眠りましょう。
不明な点があれば、いつでも聞いてくださいね。現場の戦友として、いつでもサポートしますよ。