第一次MapReduce:我需要结合一个独特的计数,请帮助

时间:2011-05-30 00:09:51

标签: sql mapreduce

我有一个集合,需要从MongoDB中的数据集中获得一个独特的计数

db['2011-05-29'].distinct("plugins.HTTPServer.string");

返回键的所有不同名称

我如何计算特定字符串的每次出现?

示例:

Apache 29172
IIS 3932

我查看了一些MapReduce示例,但似乎无法使其正常工作。因为我的计数加起来超过了集合中的实际项目。

db['2011-04-13-1pm-scan'].distinct("plugins.HTTPServer.string").length; 

返回该键中不同项的数量。

但我想要每个的键值和计数,如上所述。

1 个答案:

答案 0 :(得分:1)

您的问题完全是wordcount演示应用程序所做的100%。 它是Hadoop附带的标准示例集的一部分,这里也详细解释了这些页面

  1. http://wiki.apache.org/hadoop/WordCount
  2. http://developer.yahoo.com/hadoop/tutorial/module4.html#wordcount
  3. HTH