こんにちは！日々のシステムの監視やメトリクス収集、本当にお疲れ様です。
大規模なバッチ処理や自社製のスクリプトを動かしているとき、「処理の裏側でどれくらいのデータが処理されているか」「今の負荷はどれくらいなのか」をリアルタイムで把握したくなりますよね。そしてそれをDatadogに送ろうとしたとき、多くのエンジニアが最初に直面するのが「あれ、APIのレートリミット（回数制限）に引っかかってデータが欠損する…？」という壁です。
今回は、Datadogの公式Pythonクライアントである `datadogpy` を使いこなし、「大量のカスタムメトリクスを爆速で、かつ確実に（レートリミットを回避しながら）送信する技術」を、現場の生きた知見を交えて優しく丁寧に解説していきます。
これをマスターすれば、メトリクス送信のエラーに怯える夜とはおさらばです。毎日の運用作業が劇的に楽になりますよ！
—
1. そもそも「カスタムメトリクス」とDatadog APIの役割とは？
初心者の方に向けて、まずは基本の「キ」から整理しましょう。
- カスタムメトリクスとは？
CPU使用率やメモリといったデフォルトのインフラ指標ではなく、「今日のバッチ処理で何件の注文を処理したか」「APIの特定のエンドポイントの処理時間は何ミリ秒か」といった、あなたのビジネスやアプリケーション固有の数値のことです。
- Datadog APIの役割
アプリケーションのコード内や独立したバッチスクリプトから、HTTPリクエストを通じて直接Datadogへ数値を投げ込むための「窓口」です。
GUIやエージェント経由ではなく、コードから直接API叩いて数値を送り込むことで、自由度の高い監視・分析が可能になります。
—
2. 導入のファーストステップ：インストールと基礎セットアップ
まずは道具を揃えましょう。Pythonの環境（仮想環境を推奨します）を用意し、公式クライアントである `datadog` ライブラリをインストールします。
ターミナルで実行してください
pip install datadog
最重要：APIキーとAppキーの設定
Datadog APIを叩くには、認証情報が必要です。コード内に直接キーを書くのはセキュリティのタブー（絶対にダメですよ！）。環境変数として設定するのが鉄則です。
Linux/Macの場合はターミナルで以下のように設定します。
export DATADOG_API_KEY=”あなたのAPIキー”
export DATADOG_APP_KEY=”あなたのアプリケーションキー”
(Windowsの場合は `set DATADOG_API_KEY=…` など環境に合わせて設定してください)
—
3. まずはここから！HelloWorld的な動作確認スクリプト
それでは、正しくDatadogにデータを送れるか、最小限のコードで動作確認をしてみましょう。これがすべての基礎になります。
import time
from datadog import initialize, api
1. 環境変数からキーを読み込んで初期化
options = {
‘api_key’: ‘your_api_key_here’, # ※実際は環境変数から自動読み込みされますが明示も可能
‘app_key’: ‘your_app_key_here’
}
initialize(options)
2. 送信テスト（HelloWorld的なメトリクス送信）
def send_hello_world_metric():
metric_name = “my_shop.test.counter”
current_time = int(time.time())
# 1点を送信
api.Metric.send(
metric=metric_name,
points=[(current_time, 42)], # [タイムスタンプ, 値] のペア
tags=[“environment:development”, “service:test-script”]
)
print(f”メトリクス ‘{metric_name}’ の送信に成功しました！”)
if __name__ == “__main__”:
send_hello_world_metric()
このスクリプトを実行し、DatadogのMetrics Explorerで `my_shop.test.counter` が見つかったら、第一関門突破です！
—
4. 現場の罠：「1件ずつ送るな、まとめろ！」（レートリミット回避の極意）
さて、ここからが本題です。
例えば「1万件のレコードを処理するバッチ」があったとします。まさか、ループの中で1件処理するごとに `api.Metric.send()` を1万回呼んでいませんよね？
それをやると、Datadog側から `429 Too Many Requests`（レートリミット超過） を食らい、大切なメトリクスがごっそり欠損します。DatadogのAPIには、1秒あたりのリクエスト数やペイロードのサイズに制限があるためです。
解決策：バッチ送信（ペイロードのバルク化）
`datadogpy` の賢いところは、ひとつのリクエストの中に複数のメトリクス（または複数のデータポイント）を詰めて一度に送信できる（バルク送信）機能を持っている点です。
以下に、大量のデータを安全かつ高速に送信する「現場のプロダクション品質」のコードを提示します。
import time
from datadog import initialize, api
初期化
initialize()
def send_metrics_in_batches(metrics_data, batch_size=1000):
“””
大量のメトリクスリストを受け取り、レートリミットを回避するために
指定したバッチサイズごとに分割して送信する関数
:param metrics_data: 送信データのリスト [{‘metric’: ‘…’, ‘points’: […]}, …]
:param batch_size: 1回のリクエストに含める最大数（デフォルト1000件）
“””
total_metrics = len(metrics_data)
print(f”合計 {total_metrics} 件のメトリクス送信を開始します（バッチサイズ: {batch_size}）”)
for i in range(0, total_metrics, batch_size):
batch = metrics_data[i:i + batch_size]
try:
# api.Metric.send にリストを渡すことで一括送信（バルク送信）が可能
response = api.Metric.send(batch)
# レスポンスの確認（エラーハンドリングの基本）
if response.get(‘status’) == ‘ok’:
print(f”進捗: {i + len(batch)}/{total_metrics} 件送信完了”)
else:
print(f”警告: 送信バッチの一部で予期せぬレスポンスがありました: {response}”)
except Exception as e:
# ネットワークエラーや一時的なAPI障害への備え
print(f”エラー発生: {e} – リトライまたはフォールバック処理をここに記述します”)
# レートリミットの壁を優しく回避するためのミニスリープ（お行儀よく敬意を払う）
time.sleep(0.5)
— 実行シミュレーション —
if __name__ == “__main__”:
# ダミーで1500件のデータを生成
now = int(time.time())
dummy_metrics = []
for j in range(1500):
dummy_metrics.append({
‘metric’: ‘my_shop.batch.processed_items’,
‘points’: (now, j),
‘tags’: [‘batch_id:batch_20231101’, ‘stage:production’]
})
# バッチ送信を実行
send_metrics_in_batches(dummy_metrics, batch_size=500)
5. さらに高速化したいあなたへ：非同期処理との組み合わせ
もしPythonのスクリプトやWebフレームワーク（FastAPIやCeleryなど）で、I/Oバウンドな非同期処理を行っている場合は、`asyncio` や `aiohttp` をベースにしたカスタム非同期クライアントを検討する価値があります。
ただ、まずは上記のような「データをメモリ上でリストに溜めて、適切なサイズ（数百〜数千件）ごとに一括送信する（バルク化）」という基本をマスターするだけで、Datadog APIのレートリミットエラーの大半を防ぐことができます。
—
まとめ
- 1件ずつ送信するのは厳禁！ ネットワークの無駄であり、レートリミット（429エラー）の引き金になります。
- バルク送信を活用する！ 複数のメトリクスデータを一つのリストにまとめて、一度のAPIコールで送りましょう。
- 適切なウエイト（スリープ）を入れる！ 大量送信の合間にわずかなウェイトを入れることで、APIサーバーに優しく、確実なデータ送受信が可能になります。
オブザーバビリティの基本は「正確でノイズのないデータ収集」から始まります。このカスタムメトリクス送信のテクニックをあなたのシステムに組み込み、ビクともしない堅牢な監視基盤を作り上げてくださいね。
あなたの開発ライフが、もっと快適でエキサイティングなものになりますように！