标签: mapreduce
当我们将一些减速器设置为1时会发生什么? 它是写入单个文件还是创建瓶颈(因为默认情况下,reducer的数量是1)。 减速器的数量是否由运行时决定?
答案 0 :(得分:2)
当使用1个减速器运行作业时,您将放松减速器任务的并行性。 reducer任务将接收所有映射器的输出,并且可能非常占用内存,并最终写入单个文件。 减少器的数量默认为1,但可以并且应该通过在
jobConf.set("mapred.reduce.tasks", numReducers)