定义自定义键

时间:2014-05-06 22:09:42

标签: java hadoop mapreduce

IDbb5d7b0afbe40651f54120e31eb7fdd6  SI|us_us-800148_Rachel%20Maddow|http://www.msnbc.com/rachel-maddow-show TI1393717980    FC10    **UAMozilla/5.0** (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.73.11 (KHTML, like Gecko) Version/7.0.1 Safari/537.73.11

我是Hadoop MapReduce的初学者,正在寻找一些指导

以上是1个样本记录。我有一个包含10,000个类似记录的平面文件。如果我只想从以下行中读取UAMozilla并在文件中计算它的出现次数。如何在Java中使用MapReduce实现此目的。请帮助,因为我一直在寻找解决这个问题,没有运气!

真诚的谢谢!

1 个答案:

答案 0 :(得分:0)

使用hadoop示例附带的WordCount程序。而不是发出整个单词作为键只从您的地图发出UAMozilla / 5.0,1。

要从日志行中单独提取UAMozilla / 5.0,只需使用正则表达式。