Question

我想创建Node.js模块，该模块应该能够解析巨大的二进制文件（大于200GB）。每个文件被分成块，每个块可以大于10GB。我尝试使用流动和非流动的方法来读取文件，但问题是因为在解析块时到达了重新缓冲区的末尾，因此必须在下一个onData事件发生之前终止对该块的解析。这就是我尝试过的：

var s = getStream();

s.on('data', function(a){
    parseChunk(a);
});

function parseChunk(a){
    /*
        There are a lot of codes and functions.
        One chunk is larger than buffer passed to this function,
        so when the end of this buffer is reached, parseChunk
        function must be terminated before parsing process is finished.
        Also, when the next buffer is passed, it is not the start of
        a new chunk because the previous chunk is not parsed to the end.
    */
}

将整个块加载到进程内存中是不可能的，因为我只有8GB的RAM。如何从流中同步读取数据，或者如何在达到缓冲区末尾时暂停parseChunk功能并等到新数据可用？

Answer 1

也许我错过了一些东西，但据我所知，我没有看到为什么使用不同语法的流无法实现这一点的原因。我用

let chunk;
let Nbytes; // # of bytes to read into a chunk
stream.on('readable', ()=>{
  while(chunk = stream.read(Nbytes)!==null) { 
    // call whatever you like on the chunk of data of size Nbytes   
  }
})

请注意，如果您自己指定块的大小，如此处所做，如果请求的字节数在流末尾不可用，则将返回null。这并不意味着不再有数据流。所以请注意，你应该期待一个'修剪'的缓冲对象的大小＆lt; Nbytes位于文件末尾。

解析Node.js

1 个答案: