Hadoop的Reducers数量

时间:2014-03-01 15:53:39

标签: hadoop

我正在使用Hadoop但是当我开始我的作业时,执行映射器按照输入数量生成(当然这是所需的操作)但Hadoop只产生1个reducer而不管输入。虽然有一个有效的输入分割,但我不知道为什么Hadoop只会为该任务产生1个reducer。

在强制执行更多减速器之前,有人可以给我一个暗示,为什么会发生这种情况?

2 个答案:

答案 0 :(得分:0)

检查作业的配置(某个XML conf文件或驱动程序中的某些内容)是否包含属性

mapred.reduce.tasks=1

默认情况下,某些示例作业已配置。

答案 1 :(得分:0)

默认情况下,无论输入数据的大小如何,Hadoop仅使用1个reducer。 Here是如何提高减速器的数量。