shuffle和sort阶段是map或reduce阶段的一部分?

时间:2016-08-25 15:01:30

标签: hadoop mapreduce hadoop2

我的理解是,在mapreduce编程模型中我们有map和reduce是两个阶段。完成映射阶段后,生成中间值(键,值),并将这些值传递给reducer。

我怀疑是在map()阶段之后,shuffle和sort会来。所以,我认为洗牌和排序是减速阶段的一部分,是真的吗?

如果是这样,汇编程序()是如何运作的?

1 个答案:

答案 0 :(得分:1)

事实上,map / reduce有三个阶段:

  1. 地图
  2. shuffle&排序
  3. 减少
  4. Shuffle& sort是一个仅框架阶段(作为开发人员,您只编写map和reduce函数的代码),允许map任务和reduce阶段之间的通信。

    组合器是可选阶段,可以在缩减阶段之前使用,以汇总地图阶段的输出,因此减少阶段的工作量会减少。在此处查看更多信息:http://www.tutorialspoint.com/map_reduce/map_reduce_combiners.htm

    另见本地图/简化架构概述:https://developer.yahoo.com/hadoop/tutorial/module4.html#dataflow