现有MapReduce和YARN(MRv2)之间的差异

时间:2013-08-27 10:35:17

标签: hadoop mapreduce yarn

有人会告诉我,现有的MapReduce和YARN之间有什么区别,因为我发现这两者之间并没有明显的区别?

P.S:我要求比较一下这些。

谢谢!

2 个答案:

答案 0 :(得分:11)

MRv1使用JobTracker为数据节点创建和分配任务,当群集扩展到足够远时(通常约4,000个节点),这可能成为资源瓶颈。

MRv2(又名YARN,“又一个资源协商员”)为每个群集都有一个资源管理器,每个数据节点都运行一个节点管理器。对于每个作业,一个从节点将充当应用程序主节点,监视资源/任务等。

答案 1 :(得分:3)

MRv1 ,也称为Hadoop 1,其中 HDFS (资源管理和调度)和MapReduce(编程框架)紧密耦合。 因为这个非批处理应用程序无法在hadoop 1上运行。 它具有单一名称节点,因此不提供高系统可用性和可伸缩性。

在此版本的hadoop中,

MRv2 (又名Hadoop 2)资源管理和调度任务与MapReduce分开,后者由 YARN(又一个资源谈判者)分隔。 资源管理和调度层位于MapReduce层之下。 它还提供高系统可用性和可扩展性,因为我们可以创建冗余的NameNode。 快照的新功能,我们可以通过它来备份有助于灾难恢复的文件系统。