メモリの限界を突破せよ：Node.js Transformストリームで「データ処理の常識」を塗り替える
こんにちは。大規模システムのアーキテクチャ設計に日々頭を悩ませている皆さん。
Node.jsで巨大なJSONファイルを処理しようとして、`FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed – JavaScript heap out of memory` という悪夢のようなエラーに遭遇したことはありませんか？
多くの初心者はここで「サーバーのメモリを増やそう」と考えますが、それは根本的な解決にはなりません。データの大きさに比例してメモリを消費するコードを書いている限り、いずれ限界は訪れます。
今日は、「データ全体をメモリに載せず、蛇口から流れる水のように少しずつ処理する」、Node.jsのStream APIの真髄である「Transformストリーム」の構築手法を伝授します。これを理解すれば、数ギガバイトのデータでも、わずか数メガバイトのメモリ消費量で軽々と捌けるようになります。
—
1. なぜ「ストリーム処理」なのか？（概念の理解）
通常、私たちが書く `fs.readFile()` は、ファイル全体をメモリ上に読み込みます。これは大きなデータを扱う際、バケツ一杯に水を溜めてから運ぶようなものです。
一方、ストリームは「水道管」です。必要なデータの一部（チャンク）が届くたびに加工し、次の目的地へ流す。このサイクルを繰り返すことで、「今まさに処理している数キロバイト分」のメモリさえあれば、理論上は無限のサイズのデータを扱えるようになります。
—
2. カスタムTransformストリームの設計
今回は「巨大なJSON配列から特定のプロパティを抽出し、CSVとして書き出す」という実務で頻出のパターンを実装します。
準備：Node.jsの環境確認
特別なインストールは不要です。Node.jsがインストールされていれば即座に使えます。念のためバージョンを確認しておきましょう。
Node.jsのバージョン確認（v16以上を推奨）
node -v
実装：Transformストリームの構築
`stream` モジュールから `Transform` クラスを継承して、「データが流れてきた時にどう変換するか」を定義します。
const { Transform } = require(‘stream’);
/
- 巨大なJSONオブジェクトのストリームをCSV行に変換するクラス
/
class JsonToCsvTransform extends Transform {
constructor() {
// readableObjectModeをtrueにすると、オブジェクト単位で流せるようになります
super({ readableObjectMode: true, writableObjectMode: true });
}
// データが流れてきた時に呼ばれるメソッド
_transform(chunk, encoding, callback) {
try {
// 変換ロジック：必要なプロパティだけを抜き出す
const { id, name, email } = chunk;
const csvLine = `${id},${name},${email}\n`;
// 変換したデータを流す
this.push(csvLine);
callback();
} catch (err) {
callback(err);
}
}
}
—
3. 実践：パイプラインでデータを繋ぐ
Node.jsのStreamの最も強力な機能が `.pipe()` です。これは「入力元 → 加工 → 出力先」を非常に簡潔に記述できる、まさに魔法のメソッドです。
const fs = require(‘fs’);
const { pipeline } = require(‘stream’); // エラーハンドリングを確実にするためpipelineを使用
// 1. 入力元：巨大なJSONファイルを読み込むストリーム
const reader = fs.createReadStream(‘large-data.json’);
// 2. 加工：今回作成したTransformストリーム
const transformer = new JsonToCsvTransform();
// 3. 出力先：CSVファイルへ書き込むストリーム
const writer = fs.createWriteStream(‘output.csv’);
// パイプラインで繋ぐ（途中でエラーが起きても自動的にクローズされる）
pipeline(reader, transformer, writer, (err) => {
if (err) {
console.error(‘パイプライン処理中にエラーが発生しました:’, err);
} else {
console.log(‘データ処理が正常に完了しました！’);
}
});
—
4. この設計がもたらす「圧倒的な利益」
この実装をマスターすると、あなたの開発には以下の変革が訪れます。
- メモリ解放からの開放: 処理するデータが10MBでも10GBでも、Node.jsプロセスのメモリ消費量はほぼ一定（数MB程度）に保たれます。
- レスポンスの即時性: ファイルの読み込み完了を待たずに、最初の1行目から順次CSVが生成され始めます。ユーザーは待たされることがありません。
- 堅牢なエラーハンドリング: `pipeline` を使うことで、どこかのストリームで切断やエラーが発生しても、確実にリソースが解放されます（メモリリーク防止）。
—
最後に：先輩からのアドバイス
初心者のうちは、「全てを配列に入れて `.map()` や `.filter()` をしたくなる」という誘惑に駆られるはずです。しかし、大規模データを扱う局面では、その誘惑は「システムの死」を意味します。
まずは、小さなデータセットで上記コードを動かしてみてください。そして、巨大なデータファイルを流し込んだ時に、タスクマネージャーや `top` コマンドでメモリ使用量が全く増えない様子を観察してください。その時、あなたは一歩上の「アーキテクトの視点」を手に入れたことになります。
この技術は、APIサーバーのログ集計やバッチ処理など、あらゆる実務であなたを助けてくれるはずです。ぜひ、今日からあなたのコードに「ストリーム」を取り入れてみてください。