了解Hadoop的不同元素

时间:2018-11-06 22:11:43

标签: hadoop mapreduce

我正在自学Hadoop和Map Reduce编程模型。我试图了解它的核心元素:我试图将以下每个元素与以下功能进行匹配:

  • 减速器
  • Combiner
  • 随机排序
  • 映射器
  • 分区程序
  • 复制

我必须映射上述Hadoop组件的功能是:

-分组,将计算移至数据,帮助解决复制阶段的瓶颈,负载,平衡,数据过滤,全局计算

我的理解: Reducer --->全局计算,Combiner --->分组,混洗和排序(将数据从映射器移动到Reducer的过程)->将计算移至数据。映射器->(数据过滤) 分区程序->负载平衡,最后是复制->帮助解决复制阶段瓶颈。

如果有人可以检查我对基本hadoop组件的理解并在必要时进行纠正,我将非常感谢。

1 个答案:

答案 0 :(得分:0)

复制→将计算移至数据,合并器→帮助解决复制阶段瓶颈,映射器→数据过滤,Reducer→全局计算,分区器→负载平衡,随机和排序→分组