hadoop:1映射多个reducer,每个reducer具有不同的功能?可能?

时间:2011-08-11 00:31:24

标签: java hadoop mapreduce

以下是一个例子:

是否可以同时针对多个Reducer运行相同的映射器?喜欢

map output : {1:[1,2,3,4,5,4,3,2], 4:[5,4,6,7,8,9,5,3,3,2], 3:[1,5,4,3,5,6,7,8,9,1], so on}  

reducer1 : sum of all numbers  
reducer2 : average of all numbers  
reducer3 : mode of all numbers   

act on the the same key like  

reducer1 output: {1:sum of values, 2:sum of values, and so on}  
reducer2 output: {1:avg of values, 2: avg of values and so on}
reducer3 output: {1:mode of values, 2: mode of values, and so on}  

等等。请让我知道。

3 个答案:

答案 0 :(得分:2)

我真的想为你解答这个问题,但已经有人问了。 Hadoop one Map and multiple Reduce

答案 1 :(得分:1)

不,不可能。但是你可以实现自己的减速器,它将为你计算所有的东西并输出它。

您可以为此制作自定义可写。

答案 2 :(得分:0)