MapReduce shuffle / sort方法

时间:2011-04-25 15:05:59

标签: hadoop mapreduce hdfs

有点奇怪的问题,但是有谁知道MapReduce在shuffle / sort的排序部分使用什么类型的排序?我认为合并或插入(与整个MapReduce范例保持一致),但我不确定。

2 个答案:

答案 0 :(得分:10)

这是Quicksort,之后排序的中间输出合并在一起。 Quicksort检查递归深度,并在它太深时放弃。如果是这种情况,则使用Heapsort。

看看Quicksort类:

org.apache.hadoop.util.QuickSort

您可以通过hadoop-default.xml中的map.sort.class值更改使用的算法。

答案 1 :(得分:-1)

要想更深入地阅读有关它的更多信息,请随时在帖子上阅读:Map-Reduce:Shuffle and sort在我的博客上:Hadoop: Some Salient Understandings