こんにちは。オブザーバビリティの世界へようこそ。
「Prometheusでメトリクスを監視していたはずが、いつの間にかサーバーが重くなり、データが消え、結局『何が起きているか分からない』状態になる」。これは、大規模システムを運用する誰もが通る「地獄」です。
今日お話しするGrafana Mimirは、その地獄を終わらせるための最強の武器です。数百万の時系列データを扱い、数年先までその履歴を保持する。そんな「無限の監視」を現実にするための設計思想と実装の極意を、現場の視点から伝授しましょう。
—
1. Mimirの正体：なぜ「巨大」を扱えるのか？
Mimirの凄さは、「役割の完全分離（マイクロサービス化）」にあります。Prometheusはひとつのプロセスで全てをこなしますが、Mimirはそれをバラバラに分解し、それぞれを独立してスケールさせます。
- Distributor: 門番です。書き込みリクエストを受け取り、バリデーションしてIngesterへ振り分けます。
- Ingester: 書き込まれた直後の「熱いデータ」をメモリで保持し、クエリに応答します。
- Store Gateway: S3などのオブジェクトストレージに保存された「冷たいデータ」を検索・取得します。
- Compactor: 散らばったデータを圧縮し、ストレージ効率を最大化する掃除屋です。
つまり、「書く係」「貯める係」「検索する係」が別々に働くため、メトリクスが増えても、そのパーツを増やすだけで無限に耐えられるのです。
—
2. インストールとHelloWorld：まずは「動く」を作る
Mimirを動かすにはHelmが一番の近道です。まずは、あなたのKubernetesクラスターにMimirの「最小構成」を構築しましょう。
公式リポジトリの追加
helm repo add grafana https://grafana.github.io/helm-charts
helm repo update
最小限の設定でインストール
helm install mimir grafana/mimir-distributed -f values.yaml
values.yaml (重要設定)
ここで最も大切なのは、ストレージの設定です。
オブジェクトストレージの設定 (S3の例)
mimir:
storage_backend: s3
s3:
endpoint: s3.amazonaws.com
bucket_name: my-mimir-metrics-bucket
access_key_id: YOUR_KEY
secret_access_key: YOUR_SECRET
これができれば、あとはPrometheus側から `remote_write` を向けるだけです。
—
3. PrometheusのRemote Write：データ転送の極意
Prometheusの設定ファイル（`prometheus.yml`）に以下を追記してください。ここでのポイントは、「何を送るか」の選別です。
remote_write:
- url: http://mimir-distributor.mimir.svc.cluster.local:8080/api/v1/push
queue_config:
# 大量データのバーストを制御するための最適値
max_samples_per_send: 2000
capacity: 10000
【現場の極意】: 全てのメトリクスを送ってはいけません。不要な高カーディナリティのラベルはDropしましょう。Mimirのコストは「時系列の数」に直結します。
—
4. ストレージコスト最適化の「神髄」
「数百万のアクティブシリーズ」を扱うなら、S3のコストは馬鹿になりません。ここで Compactor が本領を発揮します。
- ブロック圧縮: Mimirはデータを小さなブロックにまとめ、それを圧縮します。Compactorの負荷を最適化することで、ストレージ容量を劇的に削減できます。
- Retention（保存期間）の設定:
- リアルタイム監視用：15日
- 長期トレンド分析用：1年
といった階層化を意識してください。 `block_retention_period` を適切に設定することが、運用コストを下げる鍵です。
—
5. 動作確認：本当に保存されているか？
Grafanaの「Data Source」にMimirのURLを追加し、Explore画面で以下をクエリしてみてください。
過去1時間のCPU使用率を表示
rate(node_cpu_seconds_total[1h])
もしデータが表示されたら、それは「あなたはもう、Prometheusの限界から解き放たれた」という証明です。
—
先輩エンジニアからの最後のアドバイス
オブザーバビリティにおいて最も危険なのは、「全部記録すれば安心だ」という甘い考えです。「何を知るために監視するのか」という目的を忘れないでください。
Mimirは強力ですが、まずはこの最小構成で「データの流れ」を体感してください。次に、メトリクスのカーディナリティ（ラベルの組み合わせ数）を監視し、不要なものを削ぎ落とす。このサイクルを回せるようになれば、あなたは現場で誰からも頼られる「監視のスペシャリスト」になれます。
迷ったら、いつでも聞いてください。あなたのコードが、より安定した未来を作りますように。