我正在使用Hadoop但是当我开始我的作业时,执行映射器按照输入数量生成(当然这是所需的操作)但Hadoop只产生1个reducer而不管输入。虽然有一个有效的输入分割,但我不知道为什么Hadoop只会为该任务产生1个reducer。
在强制执行更多减速器之前,有人可以给我一个暗示,为什么会发生这种情况?
答案 0 :(得分:0)
检查作业的配置(某个XML conf文件或驱动程序中的某些内容)是否包含属性
mapred.reduce.tasks=1
默认情况下,某些示例作业已配置。
答案 1 :(得分:0)
默认情况下,无论输入数据的大小如何,Hadoop仅使用1个reducer。 Here是如何提高减速器的数量。