Hadoop Map Reduce - 减速器数量

Question

我有具有不同年龄组公司员工数据的用例。 我需要找到三个年龄组类别的男女员工的最高薪水。

详情请访问以下链接 -

http://www.myhadoopexamples.com/2014/03/01/hadoop-mapreduce-example-with-partitioner/

我的问题是 - 这里我们只有两个由映射器发出的键，即男性和女性。 我们在驱动程序类中设置了3个reducer，因此将创建3个分区。

下面可能有两件事 -

1. 将为每个3分区运行3个reducer 每个分区的最高女性和男性工资。并给出预期的结果，如上面的链接所示。

2. 实际上只有减速器，男性和女性之一，并进行计算

Answer 1

如果你想知道减少器的真实数量，你最好在集群上运行它。

如Number of reducer in map reduce中所述，它将启动3个减速器，1个减速器将不处理任何数据。如果要使用所有三个reducer，可以更改Partioner类，例如按年龄组划分数据