如何从MongoDB中的游标中分割/采样?

时间:2012-03-16 18:23:27

标签: mongodb batch-processing sample

我有一个包含数百万个文档的数据库。我想对每个文档执行相对耗时的操作,然后更新它。我有两个(相关的)问题:

  1. 如果我想从给定光标随机抽取1000个文档,我该怎么做?

  2. 我想计算并更新一百万个文档。我在一个集群上,我想为每批1000个文件分配一份单独的工作。做这样的事最简单的方法是什么?

  3. 谢谢!

    乌里

1 个答案:

答案 0 :(得分:0)

为了做到这一点,你必须把事情推给工人经理。我会建议齿轮手。在这种情况下,脚本将:1。查询要更新的所有文档,并返回其_id。 2.将所有对象ID推送到齿轮箱服务器3.在群集中的每台机器上运行齿轮工作器进程4.让每个齿轮工人从队列中拾取新的对象ID并处理文档,将其保存回MonogDB。