map-reduce中执行不同组件/操作的顺序

Question

map-reduce中动作/组件的执行顺序是什么 - 映射器 - ＆gt;组合器 - ＆gt;改组/分拣 - ＆gt;分区程序 - ＆gt;减速机

订单是否相同??

Answer 1

这个过程几乎是正确的，但让我们清楚地了解它 第一个地图阶段将通过运行map开始 一旦map处理输入，它将在保存到本地文件系统之前进行排序，
 对本地文件系统称为sort然后copy，然后将此数据复制到reducer阶段shuffle。 由于数据已经在每个映射器输出中进行了排序，因此每个映射到位于reducer的节点都会执行merge sort。
合并完成后，数据就可以进入reduce阶段。这取决于您选择的手动配置 我们也可以将减速器的数量设置为零。在这种情况下，map的所有输出都将直接写入输出路径，也可以写入本地文件系统或hdfs。

希望它有所帮助！