Hadoop Map Reduce - 减速器数量

时间:2016-06-23 03:50:41

标签: mapreduce reducers partitioner

我有具有不同年龄组公司员工数据的用例。 我需要找到三个年龄组类别的男女员工的最高薪水。

详情请访问以下链接 -

http://www.myhadoopexamples.com/2014/03/01/hadoop-mapreduce-example-with-partitioner/

我的问题是 - 这里我们只有两个由映射器发出的键,即男性和女性。 我们在驱动程序类中设置了3个reducer,因此将创建3个分区。

下面可能有两件事 -

  1. 将为每个3分区运行3个reducer 每个分区的最高女性和男性工资。并给出预期的结果,如上面的链接所示。

  2. 实际上只有减速器,男性和女性之一,并进行计算

1 个答案:

答案 0 :(得分:0)

如果你想知道减少器的真实数量,你最好在集群上运行它。

Number of reducer in map reduce中所述,它将启动3个减速器,1个减速器将不处理任何数据。如果要使用所有三个reducer,可以更改Partioner类,例如按年龄组划分数据