在整个集合中查找字符串字段中最常用的单词

时间:2016-08-03 17:45:56

标签: string mongodb mapreduce aggregation-framework mongodb-aggregation

假设我有一个类似于以下内容的Mongo集合:

[
  { "foo": "bar baz boo" },
  { "foo": "bar baz" },
  { "foo": "boo baz" }
]

是否可以确定哪些字词最常出现在foo字段中(理想情况下是计数)?

例如,我喜欢以下结果:

[
  { "baz" : 3 },
  { "boo" : 2 },
  { "bar" : 2 }
]

2 个答案:

答案 0 :(得分:5)

最近关闭了一个JIRA issue关于$split运算符,以便在聚合框架的$project阶段使用。
有了这个,你可以创建一个像这样的管道

db.yourColl.aggregate([
    {
        $project: {
            words: { $split: ["$foo", " "] }
        }
    },
    {
        $unwind: {
            path: "$words"
        }
    },
    {
        $group: {
            _id: "$words",
            count: { $sum: 1 }
        }
    }
])

结果看起来像这样

/* 1 */
{
    "_id" : "baz",
    "count" : 3.0
}

/* 2 */
{
    "_id" : "boo",
    "count" : 2.0
}

/* 3 */
{
    "_id" : "bar",
    "count" : 2.0
}

答案 1 :(得分:0)

使用$split运算符在MongoDB 3.4中执行此操作的最佳方法是将字符串拆分为子字符串数组here,因为我们需要$unwind数组向下在管道中,我们需要使用$facet运算符在子管道中执行此操作,以实现最高效率。

db.collection.aggregate([
    { "$facet": { 
        "results": [ 
            { "$project": { 
                "values": { "$split": [ "$foo", " " ] }
            }}, 
            { "$unwind": "$values" }, 
            { "$group": { 
                "_id": "$values", 
                "count": { "$sum": 1 } 
            }} 
        ]
    }}
])

产生:

{
    "results" : [
        {
            "_id" : "boo",
            "count" : 2
       },
       {
            "_id" : "baz",
            "count" : 3
       },
       {
            "_id" : "bar",
            "count" : 2
       }
   ]
}

从MongoDB 3.2开始,唯一的方法是使用mapReduce

var reduceFunction = function(key, value) { 
    var results = {}; 
    for ( var items of Array.concat(value)) { 
        for (var item of items) {
            results[item] = results[item] ? results[item] + 1 : 1;
        } 
    }; 
    return results; 
}

db.collection.mapReduce(
    function() { emit(null, this.foo.split(" ")); }, 
    reduceFunction, 
    { "out": { "inline": 1 } } 
)

返回:

{
    "results" : [
        {
            "_id" : null,
            "value" : {
                "bar" : 2,
                "baz" : 3,
                "boo" : 2
            }
        }
    ],
    "timeMillis" : 30,
    "counts" : {
        "input" : 3,
        "emit" : 3,
        "reduce" : 1,
        "output" : 1
    },
    "ok" : 1
}

如果您的MongoDB版本不支持for...of语句,则应考虑在 reduce 函数中使用.forEach()方法。