やあ、よく来てくれました。オブザーバビリティの世界へようこそ。
君が今、目の前の複雑なシステムと格闘し、「何が起きているのかさっぱりわからない」という暗闇の中にいるのなら、この記事は君にとっての「灯台」になるはずです。
監視（Monitoring）とは、単に死活監視をすることではありません。オブザーバビリティ（Observability）とは、「システムの内面と対話すること」です。そして、PrometheusとGrafanaはその対話を実現するための、世界で最も洗練された「翻訳機」と言えるでしょう。
今日は、初心者の方が迷いがちな「データの繋ぎ込み」から、現場のプロが密かに使っている「動的なダッシュボード構築術」まで、私の経験のすべてを込めて伝授します。これをマスターすれば、君の運用保守は劇的に楽になり、トラブルの予兆を指先で感じられるようになりますよ。
—
1. 魂を吹き込む：GrafanaとPrometheusの連携
まずは、Prometheusという「記憶の図書館」と、Grafanaという「表現のキャンバス」を繋ぎましょう。
データソースの追加手順
Grafanaをインストールしてログインしたら、左サイドバーの「Connections」から「Data Sources」を選択します。
1. Add data source をクリックし、Prometheus を選択。
2. HTTP URL に Prometheusのサーバーアドレスを入力します（例: `http://localhost:9090`）。
3. Save & Test をクリック。
ここで「Data source is working」と表示されれば成功です。
【プロの視点】
ここで重要なのは、単に繋がったことを喜ぶのではなく、「スクレイピング（収集）間隔」と「Grafanaの解像度」を合わせる意識を持つことです。Prometheusが15秒間隔でデータを取っているなら、Grafanaの最小更新間隔もそれに合わせるのが、最も「嘘のない」グラフを作る秘訣です。
—
2. 知的なダッシュボード：テンプレート変数の魔法
静的なグラフを並べるだけなら、それはただの「壁紙」です。現場で本当に役立つのは、対象のサーバーやサービスを瞬時に切り替えられる「動的なダッシュボード」です。
これを実現するのが「Variables（変数）」です。
変数の設定方法
ダッシュボード右上の「Dashboard settings (歯車アイコン)」→「Variables」→「Add variable」と進みます。
- Name: `instance`
- Type: `Query`
- Label: `サーバー選択`
- Data source: `Prometheus`
- Query: `label_values(node_cpu_seconds_total, instance)`
このクエリの意味：
node_cpu_seconds_total というメトリクスが持っている
‘instance’ というラベルの値をすべて抽出して、リストにしなさい
これを設定すると、ダッシュボードの最上部にプルダウンメニューが現れます。グラフのクエリの中で `$instance` と記述すれば、選択したサーバーのデータだけが美しく表示されるようになります。
—
3. 巨人の肩に立つ：おすすめの公式ダッシュボードID
すべてをゼロから作る必要はありません。世界中のエリートエンジニアが公開している「黄金のテンプレート」をインポートしましょう。これが最も早く、プロ級の視点を持つ近道です。
Grafanaの「Dashboards」→「New」→「Import」で以下のIDを入力してみてください。
1. ID: 1860 (Node Exporter Full)
- サーバーのCPU、メモリ、ディスク、ネットワーク。これ一つでインフラ監視のすべてが手に入ります。
2. ID: 11315 (Prometheus Benchmark)
- Prometheus自体の健康状態を監視します。監視ツールが壊れていては元も子もありませんからね。
【プロの視点】
インポートした後は、必ず中身のPromQLを覗いてみてください。「なぜこのグラフは `irate` を使っているのか？」「なぜ `avg` ではなく `sum` なのか？」その疑問こそが、君をシニアエンジニアへと成長させる種になります。
—
4. 現場の静寂を守る：アラートパネルの設定テクニック
「美しいダッシュボード」の条件に、「異常が一目でわかること」があります。たくさんのグラフがある中で、どこを見ればいいか迷うのは二流です。
私が現場で必ず導入するのは、「Alert List パネル」と「Stat パネルによる色の変化」です。
技：Statパネルで「信号機」を作る
例えば、エラー率を表示するパネルを作る際、以下のように「Thresholds（閾値）」を設定します。
- 0% 〜 1%: Green（正常）
- 1% 〜 5%: Orange（警戒）
- 5% 〜: Red（異常事態）
エラー率を算出するクエリの例
sum(rate(http_requests_total{status=~”5..”}[5m]))
/
sum(rate(http_requests_total[5m])) 100
さらに、ダッシュボードの一番目立つ場所に 「Alert List」パネル を配置しましょう。現在発報中のアラートだけがそこに並ぶように設定します。
これにより、ダッシュボードを開いた瞬間に「今、何に集中すべきか」が脳に直接飛び込んでくるようになります。ノイズを削ぎ落とし、重要なシグナルだけを浮き彫りにする。これがオブザーバビリティの神髄です。
—
最後に：君へのメッセージ
PrometheusとGrafanaを使いこなすということは、システムの「悲鳴」を「音楽」に変える作業です。
最初はクエリ（PromQL）の複雑さに戸惑うかもしれません。しかし、一つひとつのメトリクスは、開発者が「ここが重要だ」と信じて埋め込んだメッセージです。そのメッセージを正しく受け取り、可視化できたとき、君はただの運用担当者ではなく、システムの「良き理解者」になれるはずです。
この記事の内容をまずは一つ、試してみてください。昨日の君よりも、システムの中身が少しだけクリアに見えるようになっているはずですよ。
もし途中で分からなくなったら、いつでもまたここへ戻ってきてください。君の成功を、心から応援しています。