Datadogのコストは「設計の怠慢」に課せられる罰金である：高騰を鎮圧する5つの深淵なる技術
Datadogは、魔法のような可視性を提供する。しかし、その「魔法」には莫大なコストという対価が伴う。多くの組織が、何も考えずに全メトリクスを送り、全ログをインジェストし、翌月の請求書を見て青ざめる。
オブザーバビリティの真髄とは、「何を見ないか」を決めることだ。無意味なデータを捨て、価値ある信号だけを抽出する。本稿では、Datadogの請求書を破壊し、同時にシステムの解像度を高めるための「現場の最前線」で培ったハックを伝授する。
—
1. メトリクス・カーディナリティの爆発を「死の直前」で阻止する
カスタムメトリクスのコストが跳ね上がる最大の要因は、無秩序なタグの付与だ。特に「ユーザーID」や「リクエストID」をタグとして埋め込むのは、オブザーバビリティにおける自殺行為である。
対策:
Datadog Agentの `dogstatsd` の設定を直接制御し、送信前にカーディナリティを強制的に絞る。
datadog.yaml
カーディナリティの高いタグ（例: user_id）が紛れ込むのをフィルタリングする
dogstatsd_mapper_profiles:
- name: “filter_high_cardinality”
prefix: “app.custom.”
mappings:
- match: “app.custom.request.”
name: “app.custom.request.count”
tags:
# 不要なタグを排除し、集計単位を固定する
- “endpoint”
2. 「ログ・インジェスト」をAPIで動的に再設計する
すべてのログをDatadogに送る必要はない。特にデバッグレベルの冗長なログは、本番環境のノイズでしかない。我々は `datadog-api-client` を使い、インジェスト量に応じて動的にフィルタリングルールを更新するパイプラインを構築する。
自動化スクリプト（Python）:
from datadog_api_client import ApiClient, Configuration
from datadog_api_client.v1.api.logs_pipelines_api import LogsPipelinesApi
ログパイプラインの除外フィルタをAPIで動的に制御する
def update_exclusion_filter(pipeline_id, filter_query):
with ApiClient(Configuration()) as api_client:
api = LogsPipelinesApi(api_client)
# 特定のサービスからのDEBUGログをインジェスト対象外に指定
api.update_pipeline(pipeline_id, body={“filter”: {“query”: filter_query}})
print(f”Pipeline {pipeline_id} updated with filter: {filter_query}”)
突発的なログスパイク時にcronから叩くことで、手動操作なしにコストを制御する
3. メトリクス生成（Metrics without Limits™）の裏側を掌握せよ
「Metrics without Limits™」は強力だが、設定を誤れば単なる金食い虫だ。重要なのは、「クエリに必要な解像度」と「コスト」のトレードオフをインフラコード（Terraform）で定義し、CI/CDに組み込むことだ。
- 鉄則: 全てのメトリクスを `gauge` で送るな。頻度が高いデータは `count` や `distribution` を使い、バックエンドで集計させる。
- Terraform化: メトリクス設定を個人の感覚に委ねるな。Terraformリソースで強制的に集計方法を固定し、開発者が勝手にタグを追加できないようにロックをかける。
4. ログの「サンプリング戦略」をフロントエンドで完結させる
全ログをネットワークに乗せてから捨てるのは遅い。Agentレベルで `logs_config.processing_rules` を使い、正規表現で「価値のないログ」を送信前に粉砕する。
datadog.yaml
logs_config:
processing_rules:
- type: exclude_at_source
name: “exclude_health_checks”
# ヘルスチェックのログなど、コストの無駄でしかないものを正規表現で弾く
pattern: ‘.(GET /health|/metrics).’
この設定により、Datadogのインジェストパイプラインに到達する前にトラフィックが削減され、ネットワーク帯域と転送コストの両方が最適化される。
5. 異常検知の「神髄」：コスト最適化後のモニタリング
コストを削ると、「重要なエラーを見逃すのではないか」という不安がよぎる。しかし、オブザーバビリティの基本原則を理解していれば、それは杞憂だ。
- Event-Driven Alerting: メトリクスの常時監視ではなく、Datadogの `Anomaly Detection` を活用し、ベースラインからの逸脱のみを通知するようにする。
- Error Trackingの活用: ログを全量送らずとも、SDK側でエラートラッキングを有効にすれば、スタックトレースと影響範囲は十分な解像度で取得できる。
—
伝説的アーキテクトからの提言
Datadogのコスト高騰は、「とりあえず全部送る」という思考停止の副産物だ。
優れたオブザーバビリティとは、「何が起きたか」を最小のデータ量で語る能力である。Agentの設定をコード化し、APIでインジェストパイプラインを動的に制御し、不要なデータはネットワークの入り口で遮断する。
コストを意識することは、単なる節約ではない。それは、システムが生成する膨大なノイズから「真実の信号」だけを抽出する、エンジニアリングそのものなのだ。さあ、今すぐ管理コンソールから離れ、TerraformとAPIで「静寂な監視システム」を構築せよ。