随机播放和排序阶段的输出路径

Question

实际上shuffle＆amp;的输出在哪里存储的MR编程的排序阶段是存储在本地磁盘还是HDFS中？

Answer 1

数据存储在本地文件系统（非HDFS）中。这是一个临时目录，在Hadoop作业完成且配置在core-site.xml之后进行清理。

Answer 2

当然它存储在本地磁盘中，因为不需要复制临时文件。如果地图任务失败，它将重试。 这是Import

中的default setting

mapreduce.cluster.local.dir $ {hadoop.tmp.dir} / mapred / local