node.js / v8将大文件读入内存

Question

问题

如何阅读文件＆gt;在node.js下的1.1 GB内存？

实施例

我正在尝试在node.js下使用topojson来转换＆gt; 1.1 GB GeoJSON文件到TopoJSON格式。

$ topojson -o outfile.json larger_than_one_point_one_GB_input_file.json

（以上版本适用于最大517 MB的文件）

导致以下错误

buffer.js:242
this.parent = new SlowBuffer(this.length);
                    ^
RangeError: length > kMaxLength
    at new Buffer (buffer.js:242:21)
    at Object.fs.readFileSync (fs.js:200:14)
    at /usr/local/share/npm/lib/node_modules/topojson/bin/topojson:61:26
    at Array.forEach (native)
    at Object.<anonymous> (/usr/local/share/npm/lib/node_modules/topojson/bin/topojson:60:8)
    at Module._compile (module.js:449:26)
    at Object.Module._extensions..js (module.js:467:10)
    at Module.load (module.js:356:32)
    at Function.Module._load (module.js:312:12)
    at Module.runMain (module.js:492:10)

我到目前为止所做的一切

• 广泛搜索
• 命令行内存设置
  • --max-stack-size=2147000000
  • --max_executable_size=2000
  • --max_new_space_size=2097152
  • --max_old_space_size=2097152
• 将最新的v8版本自定义编译为自定义node.js安装
  • 他们appear to have removed这个记忆限制（如果我是对的，我可能不是）
  • 这不成功

版本

• node.js：v0.8.15
• v8：3.11.10.25

Answer 1

问题是因为topojson使用fs.readFileSync来读取整个文件。这样做是打开一个大小的缓冲区（文件的长度），然后填充它。但节点缓冲0x3FFFFFFF字节的have a maximum size或1GB - 1 byte。所以你得到了那个例外。

解决方案？打开topojson源并将readFileSync替换为不会将整个文件作为一个块读取的流方法。或者，如果你感觉真的很hackish，可能会重新编译一个kMaxLength常数较大的节点......