MongoDB MapReduce更新到位如何

时间:2011-08-16 00:25:53

标签: mapreduce mongodb

*基本上我是在尝试按照过去一小时的分数来订购物品。

我正在尝试为我的数据库中的对象生成每小时的投票金额。投票嵌入到每个对象中。对象模式如下所示:

{
    _id: ObjectId
    score: int
    hourly-score: int <- need to update this value so I can order by it
    recently-voted: boolean
    votes: {
        "4e4634821dff6f103c040000": { <- Key is __toString of voter ObjectId
            "_id": ObjectId("4e4634821dff6f103c040000"), <- Voter ObjectId
            "a": 1, <- Vote amount
            "ca": ISODate("2011-08-16T00:01:34.975Z"), <- Created at MongoDate
            "ts": 1313452894 <- Created at timestamp
        },
        ... repeat ...
    }
}

这个问题实际上与我几天前提出的问题有关Best way to model a voting system in MongoDB

我(我可以吗?)运行MapReduce命令来执行以下操作:

  1. 仅在最近投票=真实或每小时得分&gt;的对象上运行0
  2. 计算过去一小时内创建的投票总数。
  3. 更新每小时得分=上面计算的总和,最近投票=假。
  4. 我还阅读here我可以通过在M / R命令之前运行db.getMongo()。setSlaveOk()来在从属DB上执行MapReduce。我可以在slave上运行reduce并更新master DB吗?

    Mongo MapReduce甚至可以进行就地更新吗?

1 个答案:

答案 0 :(得分:10)

你绝对可以做到这一点。我会一次一个地解决你的问题:

1。 您可以指定一个查询以及map-reduce,它会过滤将传递到地图阶段的对象集。在mongo shell中,这看起来像(假设mr分别是mapper和reducer函数的名称):

> db.coll.mapReduce(m, r, {query: {$or: [{"recently-voted": true}, {"hourly-score": {$gt: 0}}]}})

2。 步骤#1将允许您在所有文档中使用您的映射器,在过去一小时内至少有一次投票(或recently-voted设置为true),但并非所有投票都在过去一小时内。因此,您需要过滤映射器中的列表,并仅发出您希望计算的投票数:

function m() {
  var hour_ago = new Date() - 3600000;
  this.votes.forEach(function (vote) {
    if (vote.ts > hour_ago) {
      emit(/* your key */, this.vote.a);
    }
  });
}

并减少:

function r(key, values) {
  var sum = 0;
  values.forEach(function(value) { sum += value; });
  return sum;
}

3。 要更新每小时得分表,可以使用reduceOutput选项map-reduce,它将使用发出的值和输出集合中先前保存的值(如果有)调用reducer。该传递的结果将保存到输出集合中。这看起来像:

> db.coll.mapReduce(m, r, {query: ..., out: {reduce: "output_coll"}})

除了重新减少输出之外,您还可以使用merge覆盖输出集合中的文档和新创建的文档(但留下_id与{{1}不同的文档你的mr作业创建的,_id,它实际上是一个drop-and-create操作并且是默认的,或者使用replace,它会将结果直接返回给shell或者你的司机。请注意,使用{inline: 1}时,您的结果必须符合单个文档允许的大小(在最近的MongoDB版本中为16MB)。

(4)。 您可以在辅助节点(“从节点”)上运行map-reduce作业,但由于辅助节点不能接受写入(这是使它们成为辅助节点),因此只能在使用内联输出时执行此操作。