如何制作单个脚本的多个副本并并行运行?

时间:2015-09-11 08:46:48

标签: python mongodb amazon-web-services parallel-processing

我有一个拥有200万份文件的mongodb集合。有一个脚本可以处理它们并在aws上运行。但是在处理这些网址之间我得到了分段错误,这意味着我的系统内存不足。

我打算从mongodb调用批量大小为10 000并将它们分配给特定的脚本。

我无法找到适当的文档来继续前进。

0 个答案:

没有答案