在子进程上分配大数据处理

时间:2019-05-10 15:48:39

标签: node.js

让我们说我在mongo集合中有100万个文档,并且我有一台具有4核运行NodeJS的服务器。

我需要仔细阅读这些文档并进行各种更改。拥有按1-by-1来做的1-app将会花费很多时间,而且我也无法真正查询100万份文档并以这种方式遍历所有更改。

理想情况下,我想利用4个子进程或工作程序,并由一个主服务器向每个工作程序分配10k条记录进行处理,然后在完成后立即接收下一批。

我不确定是否应该走集群路线,还是只是坚持产卵过程。

0 个答案:

没有答案