在MapReduce中将reducer的数量设置为1

时间:2012-09-05 04:30:55

标签: mapreduce

当我们将一些减速器设置为1时会发生什么? 它是写入单个文件还是创建瓶颈(因为默认情况下,reducer的数量是1)。 减速器的数量是否由运行时决定?

1 个答案:

答案 0 :(得分:2)

当使用1个减速器运行作业时,您将放松减速器任务的并行性。 reducer任务将接收所有映射器的输出,并且可能非常占用内存,并最终写入单个文件。 减少器的数量默认为1,但可以并且应该通过在

中设置作业配置来增加
      jobConf.set("mapred.reduce.tasks", numReducers)