Question

（1）我在集合中添加了以下内容：

{ "_id" : 1, "hitsPerOneSecond" : [ 2, 3, 5, 4, 1, 2, 3, 4, 1, 2 ], "startTime" :    ISODate("2012-04-07T10:41:33.380Z"), "returnCodeHits" : { "300" : 5, "200" : 12 }, "xxxServer" : "xxx:8100", "statsSummarizedToSeconds" : 10, "pathStats_xxx_api_get_version" : [ 0.2280779683225852, 0.030849283020361273, 0.9947690473370484 ], "pathStats_xxx_api_get_response" : [ 1.2163705612407407, 1.0602539963494662, 1.4853219936411421 ], "type" : "xxxType", "startTimeStr" : "07-04-2012:10AM" }

{ "_id" : 2, "hitsPerOneSecond" : [ 2, 3, 5, 4, 1, 2, 3, 4, 1, 2 ], "startTime" : ISODate("2012-04-07T10:41:43.380Z"), "returnCodeHits" : { "300" : 5, "200" : 12 }, "xxxServer" : "xxx:8100", "statsSummarizedToSeconds" : 10, "pathStats_xxx_api_get_version" : [ 0.2280779683225852, 0.030849283020361273, 0.9947690473370484 ], "pathStats_xxx_api_get_response" : [ 1.2163705612407407, 1.0602539963494662, 1.4853219936411421 ], "type" : "xxxType", "startTimeStr" : "07-04-2012:10AM" }

（2）执行以下聚合时：

db.newStats.aggregate({$unwind: "$hitsPerOneSecond"},{$group:{_id:"$startTimeStr", totalHits: {$sum: "$hitsPerOneSecond"}, totalHitsCount: {$sum: 1}, avgHit: {$avg: "$hitsPerOneSecond"}, minHit: {$min:"$hitsPerOneSecond"}, maxHit:{$max: "$hitsPerOneSecond"}}});

（3）结果正确：

{
"result" : [
    {
        "_id" : "07-04-2012:10AM",
        "totalHits" : 54,
        "totalHitsCount" : 20,
        "avgHit" : 2.7,
        "minHit" : 1,
        "maxHit" : 5
    }
],
"ok" : 1

}

（4）但是，我需要在上面相同的聚合中对'pathStats_xxx_api_get_response'（来自集合）执行展开，这样我就可以在上面的相同结果中得到totalResponses，totalResponsesCount，avgResponse，minResponse和maxResponse输出。因此，我的结果应该是这样的：

{
"result" : [
    {
        "_id" : "07-04-2012:10AM",
        "totalHits" : 54,
        "totalHitsCount" : 20,
        "avgHit" : 2.7,
        "minHit" : 1,
        "maxHit" : 5,
                    "totalResponses" : ??
                    "totalResponsesCount": ??
        "avgResponse" : 2.7,
        "minResponse" : 1,
        "maxResponse" : 5
    }
],
"ok" : 1

}

不确定如何在与我差不多相同的聚合中添加更多$ unwind！

Answer 1

如何$unwind多个阵列？您多次尝试$unwinding了吗？：）

db.newStats.aggregate([
    {$unwind: "$hitsPerOneSecond"},
    {$unwind: "$pathStats_xxx_api_get_response"},

    {$group:{
        _id:"$startTimeStr", 
        totalHits: {$sum: "$hitsPerOneSecond"}, 
        totalHitsCount: {$sum: 1}, 
        avgHit: {$avg: "$hitsPerOneSecond"}, 
        minHit: {$min:"$hitsPerOneSecond"}, 
        maxHit:{$max: "$hitsPerOneSecond"},

        totalResponses: {$sum: "$pathStats_xxx_api_get_response"},
        . . .
     }}
]);

请记住，聚合框架将数组作为输入（请注意，我添加了[，]）。在数组中，您可以根据需要添加到管道中尽可能多的聚合函数（需要引用），任何步骤的输出都将是下一个的输入！

注意：

不要忘记，如果您尝试在不存在的密钥或空数组上$unwind，则最终根本没有文档！这就像乘以0我猜...因此，对于多个（可能很多）$unwind，处理重影的几率增加：如果任何涉及的数组为空，则整个文档会丢失并且您的任何$group汇总都无法获得任何内容......

Answer 2

最简单的解决方案可能是通过两个单独的聚合操作完成此操作，并将结果合并到您的应用程序中。

或者，您可以使用Map Reduce操作执行此操作：

以下map和reduce函数应该提供您要查找的结果：

var map = function() {
  var totalHits = this.hitsPerOneSecond.map(function(a,b){return a+b;});
  var totalHitsCount = this.hitsPerOneSecond.length;
  var avgHit = totalHits / totalHitsCount;
  var minHit = Math.min.apply(Math, this.hitsPerOneSecond);
  var maxHit = Math.max.apply(Math, this.hitsPerOneSecond);
  var totalResponses = pathStats_xxx_api_get_response.map(function(a,b){return a+b;});
  var totalResponsesCount = this.pathStats_xxx_api_get_response.length;
  var avgResponse = totalResponses / totalResponsesCount;
  var minResponse = Math.min.apply(Math, this.pathStats_xxx_api_get_response);
  var maxResponse = Math.max.apply(Math, this.pathStats_xxx_api_get_response);
  emit(this.startTimeStr, {
    "totalHits": totalHits,
    "totalHitsCount": totalHitsCount,
    "avgHit": avgHit,
    "minHit": minHit,
    "maxHit": maxHit,
    "totalResponses": totalResponses,
    "totalResponsesCount": totalResponsesCount,
    "avgResponse": avgResponse,
    "maxResponse": maxResponse,
    "minResponse": minResponse
  })
}

var reduce = function(key, values) {
  var output = {
    "totalHits": 0,
    "totalHitsCount": 0,
    "avgHit": 0,
    "minHit": null,
    "maxHit": null,
    "totalResponses": 0,
    "totalResponsesCount": 0,
    "avgResponse": 0,
    "maxResponse": null,
    "minResponse": null
  };
  values.forEach(function(v) {
    output.totalHits += v.totalHits;
    output.totalHitsCount += v.totalHitsCount;
    output.avgHit = output.totalHits / output.totalHitsCount;
    if (output.minHit == null) {
      output.minHit = v.minHit;
    } else {
      if (v.minHit < output.minHit) {
        output.minHit = v.minHit
      }
    }
    if (output.maxHit == null) {
      output.maxHit = v.maxHit;
    } else {
      if (v.maxHit > output.maxHit) {
        output.maxHit = v.maxHit
      }
    }

    output.totalResponses += v.totalResponses;
    output.totalResponsesCount += v.totalResponsesCount;
    output.avgResponse = output.totalResponses / output.totalResponsesCount;
    if (output.minResponse == null) {
      output.minResponse = v.minResponse;
    } else {
      if (v.minResponse < output.minResponse) {
        output.minResponse = v.minResponse
      }
    }
    if (output.maxResponse == null) {
      output.maxResponse = v.maxResponse;
    } else {
      if (v.maxResponse > output.maxResponse) {
        output.maxResponse = v.maxResponse
      }
    }
  });
  return output;
}

> db.newStats.mapReduce(map, reduce, {out:{inline:1}})
{
    "results" : [
        {
            "_id" : "07-04-2012:10AM",
            "value" : {
                "totalHits" : 54,
                "totalHitsCount" : 20,
                "avgHit" : 2.7,
                "minHit" : 1,
                "maxHit" : 5,
                "totalResponses" : 7.523893102462698,
                "totalResponsesCount" : 6,
                "avgResponse" : 1.253982183743783,
                "maxResponse" : 1.4853219936411421,
                "minResponse" : 1.0602539963494662
            }
        }
    ],
    "timeMillis" : 0,
    "counts" : {
        "input" : 2,
        "emit" : 2,
        "reduce" : 1,
        "output" : 1
    },
    "ok" : 1,
}
>

如果您不熟悉Map Reduce，可以在此处找到文档： http://www.mongodb.org/display/DOCS/MapReduce

此外，MongoDB Cookbook中有一些很好的Map Reduce示例： http://cookbook.mongodb.org/

食谱文章“使用版本化文档查找最大值和最小值”http://cookbook.mongodb.org/patterns/finding_max_and_min/的“附加”部分包含了Map Reduce操作的详细分步演练，解释了函数的执行方式。

希望这有助于您达到理想的效果。如果您能够通过单个聚合操作找到一种方法，请分享您的解决方案，以便社区可以从您的体验中获益。谢谢。

以下是关于Map Reduce的一些注释，以回应您的评论：

MapReduce在服务器上执行JavaScript。因此，您可能会发现性能会受到其他操作的影响。 Map Reduce适用于可在服务器未达到峰值流量时执行的一次性操作。您可能会发现使用Map Reduce从大型集合中获取动态统计信息并不是最佳选择。

另一方面，聚合框架依赖于本机代码，不执行服务器端JavaScript，使其比Map Reduce更快。

如果可能，最好的选择是为每个可以查询的文档添加字段。这为每次插入或更新增加了一些额外的开销，但如果可以避免Map Reduce操作，结果将更快地返回。不幸的是，最大值和最小值以及平均值很难实现。

如果Map Reduce操作是唯一的选择，可以采取一些措施来减轻其对服务器的影响。首先，可以使用SlaveOk在辅助节点上运行Map Reduce。但是，由于数据无法写入辅助节点，因此输出必须以内联方式返回，因此限制为16MB。某些用户将从副本集中取出辅助节点，将其作为独立的mongod进程重新启动，对其运行map-reduce操作，将输出集合复制到需要的位置，然后将辅助节点重新加入到repica集。

最后要考虑的是增量Map Reduce： http://www.mongodb.org/display/DOCS/MapReduce#MapReduce-IncrementalMapreduce 您可以将查询传递给map reduce命令，该命令仅匹配自上次map减少后已修改的文档，并使用reduce output选项运行map reduce操作。

希望以上内容能为您提供一些有关计算统计数据的最佳方法的思考。在文档中包含所需信息是可取的，但如果不可能，使用聚合框架将比Map Reduce更有效。

以下是关于聚合框架和pymongo的说明，以回应第二条评论：

聚合框架可以在pymongo中使用数据库对象的命令方法有关命令方法的文档可在此处找到： http://api.mongodb.org/python/current/api/pymongo/database.html#pymongo.database.Database.command

要执行聚合操作，请使用两个键将文档传递给命令方法; “聚合”和“管道”。 “aggregate”的值是将对其执行操作的集合的名称，“pipeline”的值将是要执行的聚合操作的数组。管道在“聚合框架”文档中进行了解释： http://www.mongodb.org/display/DOCS/Aggregation+Framework#AggregationFramework-Pipelines

以下是如何在pymongo中执行$ unwind操作的示例：

In [1]: import pymongo

In [2]: conn = pymongo.Connection()

In [3]: db = conn.test

In [4]: result = db.command({"aggregate":"newStats", "pipeline":
                            [{"$unwind": "$hitsPerOneSecond"},
                             {"$group": {"_id":"$startTimeStr", 
                                          "totalHits": {"$sum": 
                                          "$hitsPerOneSecond"}, 
                              "totalHitsCount": {"$sum": 1}, 
                              "avgHit": {"$avg": "$hitsPerOneSecond"}, 
                              "minHit": {"$min":"$hitsPerOneSecond"}, 
                              "maxHit":{"$max": "$hitsPerOneSecond"}}}]})

In [5]: result
Out[5]: 
{u'ok': 1.0,
 u'result': [{u'_id': u'07-04-2012:10AM',
   u'avgHit': 2.7,
   u'maxHit': 5.0,
   u'minHit': 1.0,
   u'totalHits': 54.0,
   u'totalHitsCount': 20}]}

MongoDB - $ unwind - 如何在$ group聚合中展开多个数组

2 个答案: