哪个函数在Hadoop Src 2.7.1的Reduce阶段对Map任务的输出进行排序,以及何时开始排序阶段?

时间:2015-10-10 20:46:38

标签: hadoop mapreduce reduce

哪个函数在Hadoop Src 2.7.1的Reduce阶段对Map任务的输出进行排序以及排序阶段何时开始?

我想知道,Hadoop中的哪个函数负责对Map输出进行排序以及使用的排序算法是什么?

1 个答案:

答案 0 :(得分:1)

在从Map任务生成的中间KV(键值)对溢出期间,使用Quicksort技术对地图输出进行排序,并将其传递给特定的Reducer。

在Reducer端,KV对再次使用Merge排序技术进行排序并形成组。在Reducer端需要排序,因为相同的中间KV对可能来自n-no.of Map任务。