Hadoop自定义分区程序以平衡缩减器

时间:2016-04-27 19:54:59

标签: hadoop mapreduce shuffle reduce partitioner

在我的hadoop工作中,在reduce阶段,我有几个带有很多值的键和许多值很少的键。知道密钥后,我就能知道确切的数值。我想知道是否有办法实现自定义Partitioner,以便在我的reducer上有更好的工作负载分配。 为了给你一个数量级,一些键有百万个值,有些键有十个值。

0 个答案:

没有答案