mapreduce:可以减少阶段“发射”吗?

时间:2012-04-23 00:53:18

标签: hadoop mapreduce

假设我们正在Node上进行处理。等待处理的密钥是2,1,3。 在预处理中,键将被分类到1,2,3。 处理顺序为:

开始处理1
处理1完成
开始处理2
处理2完成
开始处理3
处理3完成

处理密钥1时,我可以用密钥2发出一些东西吗?处理密钥2时将处理发射的东西。

我认为这与并行处理的概念没有冲突,因为同一节点上的键将按顺序处理。

1 个答案:

答案 0 :(得分:1)

不,因为分区步骤已经发生,所以reduce步骤的任何输出都将转到目标文件夹,而不是返回到输入文件夹

分区输入=> redurs =>输出

您总是可以使用身份映射器和相同的reducer运行第二个mapreduce作业。