标签: python mongodb amazon-web-services parallel-processing
我有一个拥有200万份文件的mongodb集合。有一个脚本可以处理它们并在aws上运行。但是在处理这些网址之间我得到了分段错误,这意味着我的系统内存不足。
我打算从mongodb调用批量大小为10 000并将它们分配给特定的脚本。
我无法找到适当的文档来继续前进。