哪个函数在Hadoop Src 2.7.1的Reduce阶段对Map任务的输出进行排序以及排序阶段何时开始?
我想知道,Hadoop中的哪个函数负责对Map输出进行排序以及使用的排序算法是什么?
答案 0 :(得分:1)
在从Map任务生成的中间KV(键值)对溢出期间,使用Quicksort技术对地图输出进行排序,并将其传递给特定的Reducer。
在Reducer端,KV对再次使用Merge排序技术进行排序并形成组。在Reducer端需要排序,因为相同的中间KV对可能来自n-no.of Map任务。