node.js如何在运行时流式传输22GB gzip压缩文件

Question

我需要迭代22GB gzip压缩文件中的行。扩展后，该文件为250GB。（这是Google Freebase db dump）

我对流不太了解。有没有办法流式传输文件并在我去的时候进行喷枪压缩？

以下是另一种方式：

var r = fs.createReadStream('file.txt');
var z = zlib.createGzip();
var w = fs.createWriteStream('file.txt.gz');
r.pipe(z).pipe(w);

Answer 1

以下是使用zlib.createGunzip代替zlib.createGzip的反向操作：

var r = fs.createReadStream('file.txt.gz');
var z = zlib.createGunzip();
var w = fs.createWriteStream('file.txt');
r.pipe(z).pipe(w);