Hadoop MapReduce输出

时间:2015-05-11 12:42:20

标签: hadoop mapreduce

关于hadoop的另一个问题。是否可以将列表缩减为地图?我的意思是我在map()

之后列出了这样的列表
KEY:  VALUE:
aaa word
string
word
text
string
word

是否可以将列表缩减为以下结构?

KEY:  VALUE:
aaa word, 3
string, 2
text, 1


谢谢 曼努埃尔

1 个答案:

答案 0 :(得分:1)

我要做的是以下内容:由于您试图实现典型的字数,但是在与键相关联的列表上,我会通过在映射器的输出处生成这样的wordwount示例(键,价值)对,如:

aaa-word,1
aaa-string,1
aaa-word,1
aaa-text,1
aaa-string,1
aaa-word,1

即。我会将aaa信息添加到所有输出对。然后,reducer将像往常一样:通过接收键相同的值列表;然后,公共密钥被分成aaa和单词;此外,返回列表的长度,该列表连接到单词。

(aaa-word,1),(aaa-word,1),(aaa-word,1)-->(aaa,word-3)
(aaa-string,1),(aaa-string,1)-->(aaa,string-2)
(aaa-text,1)-->(aaa,text-1)