使用$ push with $ group with pymongo

时间:2016-11-29 14:37:15

标签: python mongodb mongodb-query pymongo

目的

使用聚合查询修复我的make_pipeline()函数,计算每个用户的推文数量,将它们添加到数组中,并返回推文最多的5个用户。

运动

使用聚合查询,计算每个用户的推文数量。 在同一$group阶段,使用$push累积每个用户的所有推文文本。

将您的输出限制为推文最多的5位用户。

您的结果文档应仅包含以下字段:

  • "_id"(用户的屏幕名称),
  • "count"(为用户找到的推文数量),
  • "tweet_texts"(为用户找到的推文文本列表)。

背景

为了实现上一个目标,我正在测试以下代码:

def make_pipeline():
    # complete the aggregation pipeline
    pipeline = [
        {"$group": {"_id": "$user.screen_name", "tweet_texts": {"$push": "$text"}, "count": {"$sum": 1}}},
        {"$project": {"_id": "$user.screen_name", "count": 1, "tweet_texts": 1}},
        {"$sort" : {"count" : -1}},
        {"$limit": 5}
    ]
    return pipeline

逻辑

首先,我按username对所有推文进行分组。然后,在同一阶段,我将所有发短信的推文推送到tweet_texts,并计算每个被分组的事件。我相信这会给我带有大多数推文的用户数量。

然后我做一个投影,只选择我想要的三个字段:

  • _id
  • count
  • tweet_texts

我通过排序和限制结果数量来完成。

问题

我通过了考试,但没有通过考试。我究竟做错了什么? 我现在的错误必须在第一个(小组)阶段,但我无法找到上帝的爱,我做错了什么。

数据样本

{
    "_id" : ObjectId("5304e2e3cc9e684aa98bef97"),
    "text" : "First week of school is over :P",
    "in_reply_to_status_id" : null,
    "retweet_count" : null,
    "contributors" : null,
    "created_at" : "Thu Sep 02 18:11:25 +0000 2010",
    "geo" : null,
    "source" : "web",
    "coordinates" : null,
    "in_reply_to_screen_name" : null,
    "truncated" : false,
    "entities" : {
        "user_mentions" : [ ],
        "urls" : [ ],
        "hashtags" : [ ]
    },
    "retweeted" : false,
    "place" : null,
    "user" : {
        "friends_count" : 145,
        "profile_sidebar_fill_color" : "E5507E",
        "location" : "Ireland :)",
        "verified" : false,
        "follow_request_sent" : null,
        "favourites_count" : 1,
        "profile_sidebar_border_color" : "CC3366",
        "profile_image_url" : "http://a1.twimg.com/profile_images/1107778717/phpkHoxzmAM_normal.jpg",
        "geo_enabled" : false,
        "created_at" : "Sun May 03 19:51:04 +0000 2009",
        "description" : "",
        "time_zone" : null,
        "url" : null,
        "screen_name" : "Catherinemull",
        "notifications" : null,
        "profile_background_color" : "FF6699",
        "listed_count" : 77,
        "lang" : "en",
        "profile_background_image_url" : "http://a3.twimg.com/profile_background_images/138228501/149174881-8cd806890274b828ed56598091c84e71_4c6fd4d8-full.jpg",
        "statuses_count" : 2475,
        "following" : null,
        "profile_text_color" : "362720",
        "protected" : false,
        "show_all_inline_media" : false,
        "profile_background_tile" : true,
        "name" : "Catherine Mullane",
        "contributors_enabled" : false,
        "profile_link_color" : "B40B43",
        "followers_count" : 169,
        "id" : 37486277,
        "profile_use_background_image" : true,
        "utc_offset" : null
    },
    "favorited" : false,
    "in_reply_to_user_id" : null,
    "id" : NumberLong("22819398300")
}

请帮忙!

2 个答案:

答案 0 :(得分:1)

$project 步骤是多余的,因为 $group 管道已经只生成了这三个字段,所以不需要前面的 $project 阶段。

正确的管道应该是

pipeline = [ 
    {
        "$group": {
            "_id": "$user.screen_name", 
            "tweet_texts": { "$push": "$text" }, 
            "count": { "$sum": 1 }
        }
    }, 
    { "$sort" : { "count" : -1 } }, 
    { "$limit": 5 } 
] 

您的 $project 管道无效,因为之前的 $group 管道未生成任何字段"$user.screen_name"尝试用作 $project 管道中的_id字段。

但是,如果您想要包含 $project 步骤,那么应该遵循以下工作管道:

pipeline = [ 
    {
        "$group": {
            "_id": "$user.screen_name", 
            "tweet_texts": { "$push": "$text" }, 
            "count": { "$sum": 1 }
        }
    }, 
    { "$project": { "count": 1, "tweet_texts": 1 } },
    { "$sort" : { "count" : -1 } }, 
    { "$limit": 5 } 
] 

答案 1 :(得分:1)

阅读评论

阅读我发现的评论

pipeline = [
        {"$group": {"_id": "$user.screen_name", "tweet_texts": {"$push": "$text"}, "count": {"$sum": 1}}},
        {"$project": {"_id": "$user.screen_name", "count": 1, "tweet_texts": 1}},
        {"$sort" : {"count" : -1}},
        {"$limit": 5}
    ]

实际上应改为:

pipeline = [ 
        {"$group": {"_id": "$user.screen_name", "tweet_texts": {"$push": "$text"}, "count": {"$sum": 1}}}, 
        {"$sort" : {"count" : -1}}, 
        {"$limit": 5}
    ]

为什么?

答案中可以看到完整的答案和解释:

故事的结论是我错误地使用$project阶段。不仅首先不需要它,而且它应该是幂等的

{"$project": {"_id": "$_id", "count": 1, "tweet_texts": 1}},

我也强烈推荐他的回答:

特别感谢

以下用户应该获得荣誉++:

指导我走向正确的道路!