确定Hadoop中的Reduce数量

Question

在Hadoop中，映射的数量由输入拆分的数量决定。减少的数量怎么样？如果有一种方法我们可以直观地确定减少？ 我正在做Pig减少地图。

Answer 1

理想的减速器应该是使它们最接近的最佳值：

块大小的倍数 任务时间在5到15分钟之间 创建尽可能少的文件 参考：http://wiki.apache.org/hadoop/HowManyMapsAndReduces

Answer 2

从数据的角度来看，reducer的数量等于地图输出中唯一键的数量。