我正在自学Hadoop和Map Reduce编程模型。我试图了解它的核心元素:我试图将以下每个元素与以下功能进行匹配:
我必须映射上述Hadoop组件的功能是:
-分组,将计算移至数据,帮助解决复制阶段的瓶颈,负载,平衡,数据过滤,全局计算
我的理解: Reducer --->全局计算,Combiner --->分组,混洗和排序(将数据从映射器移动到Reducer的过程)->将计算移至数据。映射器->(数据过滤) 分区程序->负载平衡,最后是复制->帮助解决复制阶段瓶颈。
如果有人可以检查我对基本hadoop组件的理解并在必要时进行纠正,我将非常感谢。
答案 0 :(得分:0)
复制→将计算移至数据,合并器→帮助解决复制阶段瓶颈,映射器→数据过滤,Reducer→全局计算,分区器→负载平衡,随机和排序→分组