我有一个包含数百万个文档的数据库。我想对每个文档执行相对耗时的操作,然后更新它。我有两个(相关的)问题:
如果我想从给定光标随机抽取1000个文档,我该怎么做?
我想计算并更新一百万个文档。我在一个集群上,我想为每批1000个文件分配一份单独的工作。做这样的事最简单的方法是什么?
谢谢!
乌里
答案 0 :(得分:0)
为了做到这一点,你必须把事情推给工人经理。我会建议齿轮手。在这种情况下,脚本将:1。查询要更新的所有文档,并返回其_id。 2.将所有对象ID推送到齿轮箱服务器3.在群集中的每台机器上运行齿轮工作器进程4.让每个齿轮工人从队列中拾取新的对象ID并处理文档,将其保存回MonogDB。