Mongodb聚合与客户端处理

时间:2014-03-21 09:54:39

标签: javascript node.js mongodb aggregation-framework

我有一个blogs集合,它几乎有以下架构:

{ 
    title: { name: "My First Blog Post",
             postDate: "01-28-11" },
    content: "Here is my super long post ...",
    comments: [ { text: "This post sucks!"
              , name: "seanhess"
              , created: 01-28-14}
            , { text: "I know! I wish it were longer"
              , name: "bob"
              , postDate: 01-28-11} 
            ] 
}

我主要想要运行三个查询:

  1. 仅向 <{strong> comments
  2. 提供bob所有内容
  3. 查找撰写帖子comments的同一天发出的所有comments.postDate = title.postDate
  4. 在撰写帖子的同一天查找comments所做的所有bob
  5. 我的问题如下:

    • 这三个将是非常频繁的查询,因此使用聚合框架是一个好主意吗?
    • 对于第三个查询,我可以简单地进行db.blogs.find({"comments.name":"bob"}, {comments.name:1, comments.postDate:1, title.postDate:1})之类的查询,然后进行客户端后处理以循环返回结果。这是个好主意吗?我想请注意,这可能会返回数千份文件。
    • 如果您能提出一些方法来进行第三次查询,我将很高兴。

1 个答案:

答案 0 :(得分:7)

这里最好的做法是将你的多个问题“分解”到几个问题中,如果不仅仅是因为一个问题的答案可能会有让你了解另一个。

我也不是非常热衷于回答任何有没有示例显示你想要做什么的事情。但是,随着这种说法和“自己在脚下拍摄”,从设计方法来看问题是合理的,所以我会回答。

第1点:“bob”的评论

标准$展开并过滤结果。首先使用$ match,这样就不会处理不需要的文档。

db.collection.aggregate([

    // Match to "narrow down" the documents.
    { "$match": { "comments.name": "bob" }},

    // Unwind the array
    { "$unwind": "$comments" },

    // Match and "filter" just the "bob" comments
    { "$match": { "comments.name": "bob" }},

    // Possibly wind back the array
    { "$group": {
       "_id": "$_id",
       "title": { "$first": "$title" },
       "content": { "$first": "$content" },
       "comments": { "$push": "$comments" }
    }}
])

第2点:同一天的所有评论

db.collection.aggregate([

    // Try and match posts within a date or range
    // { "$match": { "title.postDate": Date( /* something */ ) }},

    // Unwind the array
    { "$unwind": "$comments" },

    // Aha! Project out the same day. Not the time-stamp.
    { "$project": {
        "title": 1,
        "content": 1,
        "comments": 1,
        "same": { "$eq": [
            {
                "year"   : { "$year":  "$title.postDate" },
                "month"  : { "$month": "$title.postDate" },
                "day": { "$dayOfMonth": "$title.postDate" }
            },
            {
                "year"   : { "$year": "$comments.postDate" },
                "month"  : { "$month": "$comments.postDate" },
                "day": { "$dayOfMonth": "$comments.postDate" }
            }
        ]}
     }},

     // Match the things on the "same 
     { "$match": { "same": true } },     

    // Possibly wind back the array
    { "$group": {
       "_id": "$_id",
       "title": { "$first": "$title" },
       "content": { "$first": "$content" },
       "comments": { "$push": "$comments" }
    }}

])

第3点:同一天的“bob”

db.collection.aggregate([

    // Try and match posts within a date or range
    // { "$match": { "title.postDate": Date( /* something */ ) }},

    // Unwind the array
    { "$unwind": "$comments" },

    // Aha! Project out the same day. Not the time-stamp.
    { "$project": {
        "title": 1,
        "content": 1,
        "comments": 1,
        "same": { "$eq": [
            {
                "year"   : { "$year":  "$title.postDate" },
                "month"  : { "$month": "$title.postDate" },
                "day": { "$dayOfMonth": "$title.postDate" }
            },
            {
                "year"   : { "$year": "$comments.postDate" },
                "month"  : { "$month": "$comments.postDate" },
                "day": { "$dayOfMonth": "$comments.postDate" }
            }
        ]}
     }},

     // Match the things on the "same" field
     { "$match": { "same": true, "comments.name": "bob" } },     

    // Possibly wind back the array
    { "$group": {
       "_id": "$_id",
       "title": { "$first": "$title" },
       "content": { "$first": "$content" },
       "comments": { "$push": "$comments" }
    }}

])

结果

老实说,特别是如果你使用一些索引来提供这些操作的初始$ match阶段,那么应该非常明确的是,这会在试图迭代这个时“运行响铃”在代码中。

至少会减少返回的记录“通过网络”,因此网络流量会减少。当然,一旦收到查询结果,发布流程的次数就会减少(或没有)。

作为一般惯例,数据库服务器硬件的性能往往比“应用程序服务器”硬件的数量级更高。因此,一般条件是在服务器上执行的任何操作都会运行得更快。

  • 聚合是正确的吗:“是”。并且很长一段路。你很快就会得到光标

  • 如何进行所需的查询:显示非常简单。在现实世界的代码中,我们永远不会“硬编码”这个,我们动态地构建它。因此,添加条件和属性应该与您正常的数据操作代码一样简单。

所以我通常不会回答此样式的问题。但是说谢谢!拜托?