Node.js内存填满了

Question

我正在尝试编写一个下载大型zip文件的程序，将其解压缩到内存中，然后将内容（一系列CSV文件）推送到MongoDB。但是，我一直在点程序停止并打印

FATAL ERROR: CodeRange::GetNextAllocationBlock Allocation failed - process out of memory

当缓冲区不再使用时，我一直将缓冲区设置为null，一旦它们在Mongo中，就将记录设置为null，并防止一次处理多个文件。这些都没有帮助。是否还有释放记忆的技巧？

Answer 1

我会考虑的事情（不确定它是否会按预期完成）：

确保引用消失：

• https://groups.google.com/d/msg/nodejs/ddXqNI_e_pU/NKMHmz4RLsoJ

手动执行GC并增加v8堆大小：

• http://blog.caustik.com/2012/04/11/escape-the-1-4gb-v8-heap-limit-in-node-js/

从父进程生成（并终止）子进程以执行工作：

• http://www.robsearles.com/2011/09/28/nodejs-experiments-with-processes/

这样我觉得操作系统会回收子进程的内存，即使它没有返回内存。

Ram as filesystem：

• http://www.cyberciti.biz/faq/howto-create-linux-ram-disk-filesystem/

这样你可以将文件系统视为内存（让操作系统将其放入内存中）。

使用freelist：

• https://groups.google.com/d/msg/nodejs/ddXqNI_e_pU/EP0xUi04xl8J

Answer 2

node.js对内存分配有1.4Gb的硬限制。但我不认为无论如何将大文件下载到内存是个好主意，我建议将文件写入磁盘，解压缩到磁盘，然后推送到MongDB。这样你总是会在内存中运行一小块数据