Question

我正在尝试在mongo中使用聚合框架来获取某些数据统计信息。我正在使用的查询，当在本地运行时几乎不花一分钟，但当我在服务器上运行相同的查询时它没有给出响应，并且在等待太长时间后，我不得不取消它，任何人都可以建议为什么是这发生了。

var orderIds = db.delivery.find({"status":"DELIVERED"}).map(function(o) {
    return o.order 
}); 

var userIds =  db.order.aggregate([{
    $match : { _id : { $in : orderIds } }
}, {
    $group: { _id : "$customer" }
}]).map(function(u) { return u._id });

var userstats = db.order.aggregate([{
    $sort : { customer : 1, dateCreated : 1 }
}, {
    $match : { status : "DELIVERED", customer : {  $in : userIds } }
}, { 
    $group: {
        _id : "$customer", orders : { $sum : 1 }, 
        firstOrderDate : { $first : "$dateCreated" },
        lastOrderDate : { $last : "$dateCreated" }
    }
}]);

userstats.forEach(function(x) { 
    db.user.update({ _id : x._id }, {
        $set : { 
            totalOrders : x.orders,
            firstOrderDate : x.firstOrderDate,
            lastOrderDate : x.lastOrderDate
        }
    })
})

我不确定，但是它不应该在服务器上更快吗？，但它无法提供输出。

Answer 1

为了加快这个过程，您可以通过几种方式重构您的操作。第一个是消除不必要的管道操作，例如 $sort 运算符，可以用 $max 和 {{3}替换 $min 管道中的运算符。

其次，使用 $group API，这将增加更新操作的性能，尤其是在处理大型集合时，因为他们将批量发送操作到服务器（例如，说批量大小为500）与将每个请求发送到服务器不同（正如您目前使用forEach()循环中的更新语句一样）。

考虑以下重构操作：

var orderIds = db.delivery.find({"status": "DELIVERED"}).map(function(d){return d.order;}),
    counter = 0,
    bulk = db.user.initializeUnorderedBulkOp();

var userstatsCursor = db.orders.aggregate([
    { "$match": { "_id": { "$in": orderIds } } },
    { 
        "$group": { 
            "_id": "$customer", 
            "orders": { "$sum": 1 },
            "firstOrderDate": { "$min": "$dateCreated" },
            "lastOrderDate":{ "$max": "$dateCreated" } } 
        } 
    }
]);

userstatsCursor.forEach(function (x){
    bulk.find({ "_id": x._id }).updateOne({ 
        "$set": { 
            "totalOrders": x.orders,
            "firstOrderDate": x.firstOrderDate,
            "lastOrderDate": x.lastOrderDate
        }
    });

    counter++;
    if (counter % 500 == 0) {
        bulk.execute(); // Execute per 500 operations and 
        // re-initialize every 500 update statements
        bulk = db.user.initializeUnorderedBulkOp();
    }
});

// Clean up remaining operations in queue
if (counter % 500 != 0) { bulk.execute(); }

Answer 2

我建议您将$match作为管道中的第一个操作，因为$match运算符只能在聚合管道中首先使用索引：

var userstats = db.order.aggregate([{
    $match : {
        status :"DELIVERED", 
        customer : { $in : userIds }
    }
}, {
    $sort : {
        customer : 1,
        dateCreated : 1
    }
}, { 
    $group : {  
        _id : "$customer",
        orders : { $sum : 1 }, 
        firstOrderDate: { $first : "$dateCreated" },
        lastOrderDate : { $last:"$dateCreated" }
    }
}]);

如果您尚未定义索引，还应在status和customer上添加索引：

db.delivery.createIndex({status:1,customer:1})

Monogo聚合查询在服务器上花费太长时间

2 个答案: