有点奇怪的问题,但是有谁知道MapReduce在shuffle / sort的排序部分使用什么类型的排序?我认为合并或插入(与整个MapReduce范例保持一致),但我不确定。
答案 0 :(得分:10)
这是Quicksort,之后排序的中间输出合并在一起。 Quicksort检查递归深度,并在它太深时放弃。如果是这种情况,则使用Heapsort。
看看Quicksort类:
org.apache.hadoop.util.QuickSort
您可以通过hadoop-default.xml中的map.sort.class值更改使用的算法。
答案 1 :(得分:-1)
要想更深入地阅读有关它的更多信息,请随时在帖子上阅读:Map-Reduce:Shuffle and sort
在我的博客上:Hadoop: Some Salient Understandings