LLMは「ブラックボックス」ではない：Grafanaで構築する、コストと品質を可視化するAI監視基盤
生成AIアプリケーションをリリースして終わりだと思っているなら、それは「エンジニア」ではなく「ギャンブラー」だ。LLMをプロダクション環境に投入する際、最も恐ろしいのは「いつの間にかトークン消費が爆発し、予算を食いつぶしている」ことと、「ユーザーが体感する異常なレイテンシに気づけない」ことだ。
今日は、Grafanaを単なるメトリクス表示ツールではなく、「AIの収益性とパフォーマンスを管理するコックピット」へと進化させるための実践的なアーキテクチャを伝授する。
—
1. 監視の核心：何を計測すべきか
単なるリクエスト数では不十分だ。LLM監視において、以下の3軸を必ずPrometheus/Loki経由でGrafanaに流し込め。
- トークン消費量 (Input/Output/Total): コストの直接的な源泉。
- TTFT (Time To First Token): ユーザーが「待たされている」と感じる最大の要因。
- コスト効率: 1リクエストあたりのコストをモデルやプロンプトのバージョンごとに追跡する。
2. 実践：Prometheusメトリクスを仕込む (Python/LangChain)
LangChainを使っているなら、標準のCallbackを利用してメトリクスを吐き出すのが最もスマートだ。以下は、Prometheusクライアントを利用したカスタムハンドラの構成例だ。
LLMのコストとレイテンシを計測するPrometheusハンドラ
from prometheus_client import Counter, Histogram
コスト計測用のメトリクス定義
LLM_TOKEN_USAGE = Counter(‘llm_token_usage’, ‘LLMトークン消費量’, [‘model’, ‘type’])
LLM_LATENCY = Histogram(‘llm_latency_seconds’, ‘LLM応答時間’, [‘model’])
def track_llm_metrics(model_name, input_tokens, output_tokens, latency):
LLM_TOKEN_USAGE.labels(model=model_name, type=’input’).inc(input_tokens)
LLM_TOKEN_USAGE.labels(model=model_name, type=’output’).inc(output_tokens)
LLM_LATENCY.labels(model=model_name).observe(latency)
3. Grafanaで「震えるほど役立つ」ダッシュボードを作る
神プラグイン：絶対に導入すべきツール
1. [Dynamic Text](https://grafana.com/grafana/plugins/volkovlabs-dynamictext-panel/): APIエラーログの要約をMarkdownで美しく表示するために必須。
2. [State Timeline](https://grafana.com/docs/grafana/latest/panels/visualizations/state-timeline/): モデルの稼働率や、異常なエラー発生期間を「帯状」に可視化するのに最適。
隠れたキーボードショートカット (生産性を倍にする)
- `d` + `r`: ダッシュボードの更新間隔（Refresh）を即座に切り替え。
- `Shift` + `h`: 全パネルの凡例（Legend）を一括表示/非表示。
- `Ctrl` + `k`: コマンドパレットを開き、パネルの検索や設定へ瞬時にジャンプ。
—
4. プロのベストプラクティス：設定の共有と運用
ダッシュボードを「個人の資産」にするな。チーム全員が同じ視座でAIを監視するためのルールだ。
ダッシュボードのJSON構成ルール
Grafanaのダッシュボードは必ずコード管理（GitOps）せよ。GUIでポチポチ作るのはプロトタイプまでだ。GrafanaのJSONエクスポートを `jsonnet` でテンプレート化し、環境変数でデータソースを切り替えられるようにするのが定石だ。
// dashboard_template.jsonnet の一部
{
“datasource”: “${PROMETHEUS_DS}”, // チーム全体で変数化して共有
“title”: “LLM Cost & Performance Overview”,
“tags”: [“ai-monitoring”, “production”],
“timezone”: “browser”
}
チーム運用上の「3つの掟」
1. アラートは「異常値」ではなく「予算」に置け: 1時間あたりのコストが閾値を超えた瞬間、Slackにメンションを飛ばせ。
2. Lokiでログを紐付けろ: メトリクスのスパイクをクリックした瞬間に、その時のプロンプト（の一部）やエラーログへ飛べるように「Data Links」を設定せよ。
3. モデル比較パネルを作れ: GPT-4oとGPT-4o-miniのコスト差をグラフで並べ、ビジネスサイドが見ても「どのモデルを使うべきか」が分かるようにする。
—
最後に：オブザーバビリティは「謙虚さ」の証
LLMの挙動を監視することは、AIを制御することではなく、「AIが何をしているかを知る」という謙虚な姿勢そのものだ。
Grafanaのダッシュボードに「現在の推定コスト」が表示されているとき、エンジニアは初めて「技術的興味」から「ビジネス的責任」へと視座を上げることができる。この監視基盤こそが、あなたの開発チームを単なる実装屋から、価値を生み続けるプロダクトチームへと昇華させるはずだ。
さあ、今すぐPrometheusのメトリクスを覗きに行け。あなたのアプリが、あなたが思っている以上に予算を食い潰しているかもしれないのだから。