如何将数据从MongoDb分发到处理器

Question

请帮助我添加PROPER TAGS

我有一个从mongo流式传输文档的脚本。它逐个处理它们。

这就是问题所在。处理文档需要一些时间。如果在1个处理器上运行，那很好。但是，从2个以上的处理器，他们可以重新处理相同的数据。将根据CI忙碌的方式动态添加/删除处理器。

如何在处理器之间分发文档？

我的想法：

1. 根据doc._id。
的最后数字进行分配
2. 每当连接处理器时，它都会将日志写入db。从日志中，其他处理器将计算它们应该处理的范围。问题是脚本是批处理的，比如每次调用500个文档。

感谢任何想法。