Question

在MongoDB中，我正在尝试编写Map-Reduce函数，只有在满足特定条件时才会保存数据。

我无法弄清楚如何从我的reducer中不 emit（）。它总是以某种方式保存数据。

这是一个通用的例子。忽略数据的上下文 - 我仅为此问题创建了此数据和代码。

数据集：

{ "_id" : ObjectId("52583b3a58da9769dda48853"), "date" : "01-01-2013", "count" : 1 }
{ "_id" : ObjectId("52583b3d58da9769dda48854"), "date" : "01-01-2013", "count" : 1 }
{ "_id" : ObjectId("52583b4258da9769dda48855"), "date" : "01-02-2013", "count" : 1 }
{ "_id" : ObjectId("52583b4f58da9769dda48856"), "date" : "01-03-2013", "count" : 4 }

地图功能：

// Map all data by (date, count)
var map = function() {
    var key = this.date;
    var value = this.count;
    emit(key, value);
}

简化忽略不需要的数据的Reducer。

// Only save dates which have count > 2
var reducer = function(date, counts) {
    var sum = Array.sum(counts);
    if (sum > 2) {
        return sum;
    }
}

结果（1的值未被忽略）：

{ "_id" : "01-01-2013", "value" : null }
{ "_id" : "01-02-2013", "value" : 1 }
{ "_id" : "01-03-2013", "value" : 4 }

我还在一个空的return语句中添加了，但得到了相同的结果：

// Only save dates which have count > 2
var reducer = function(date, counts) {
    var sum = Array.sum(counts);
    if (sum > 2) {
        return sum;
    }
    else return;
}

我想要发生的是在运行Map-Reduce之后，我的输出集合中只存在以下数据。 我该如何做到这一点？

{ "_id" : "01-03-2013", "value" : 4 }

Answer 1

您可以使用以下函数运行其他mapReduce操作：

var second_map = function() { 
    if(this.value > 2) {
        emit(this._id, this.value);
    }
}

和

var second_reduce = function() {}

reduce函数可以为空，因为在这种情况下为not having multiple values per key will cause it to not even be called。

所以，像这样运行mapReduce：

db.map_reduce_example.mapReduce(
    second_map, second_reduce, {out: 'final_mapreduce_result'});

将生成以下集合：

> db.final_mapreduce_result.find()
{ "_id" : "01-03-2013", "value" : 4 }

请注意，如果您决定使用此方法，则可以从第一个reduce函数中删除if (sum > 2)条件。

Answer 2

我们需要记住，如果密钥只有1个发射值（来自map（）），则可以跳过reducer。我们也不应该尝试在reduce中过滤结果，因为对于同一个键，每次都可以调用reduce（每次都有一个发射值的子集）。

唯一的另一个选项是finalize方法，但这会导致空值而不是从结果中删除条目。

我认为获得所需结果的唯一方法是使用聚合框架而不是map reduce。管道看起来像：

db.test.aggregate( 
   { 
     "$project" : { 
       "_id"   : 0, 
       "date"  : 1, 
       "count" : 1 
     } 
   }, 
   { 
     "$group" : { 
       "_id"   : "$date", 
       "value" : { "$sum" : "$count" } 
     } 
   }, 
   { 
     "$match" : { 
       "value" : { "$gt" : 2 } 
     } 
   } 
);
{ "result" : [ { "_id" : "01-03-2013", "value" : 4 } ], "ok" : 1 }

此方法唯一的主要缺点是结果必须返回内联，将结果的大小限制为16MB。这将在2.6版本中修复/补救：https://jira.mongodb.org/browse/SERVER-10097

HTH，罗布。

如何在MongoDB中的reduce（）函数中保存数据？

2 个答案: