hadoop mr1和纱线和mr2之间的区别?

时间:2015-05-12 04:20:25

标签: hadoop mapreduce yarn

有人可以告诉MR1和纱线和MR2之间的区别

我的理解是MR1将具有以下组件 Namenode会, 辅助名称节点, 数据节点, 工作追踪者, 任务追踪器

纱线 节点管理器 资源经理

纱线是由MR1还是MR2组成(或者MR2和纱线是否相同?)

对不起,如果我问基本问题

2 个答案:

答案 0 :(得分:3)

MRv1使用JobTracker 创建任务跟踪器并将任务分配给任务跟踪器,当群集扩展得足够远时(通常约为4,000个群集),这可能成为资源瓶颈。

MRv2(又名YARN,“又一个资源谈判者”)每个群集都有一个资源管理器,每个数据节点都运行一个节点管理器。在MapReduce MRv2中,JobTracker的功能已在三个服务之间分配。 ResourceManager是一个持久性YARN服务,它接收并运行集群上的应用程序(MapReduce作业是一个应用程序)。它包含调度程序,如前所述,它是可插入的。 JobTracker的MapReduce特定功能已移至MapReduce Application Master中,其中一个功能已开始管理每个MapReduce作业,并在作业完成时终止。提供有关已完成作业的信息的JobTracker功能已移至JobHistory Server。 TaskTracker已被NodeManager取代,NodeManager是一种管理主机上资源和部署的YARN服务。它负责启动容器,每个容器都可以容纳地图或减少任务。

答案 1 :(得分:1)

YARN是任何形式的分布式应用程序运行的通用平台,而MR2是一个在YARN上运行MapReduce框架的分布式应用程序