mapreduce应用程序和纱线应用程序之间有什么区别?

时间:2015-04-16 18:00:10

标签: hadoop mapreduce yarn hadoop2

运行mapreduce 2的集群没有作业跟踪器,而是分成两个独立的组件,资源管理器和作业管理器。但是,这些东西对于用户来说是透明的,并且在提交mapreduce作业时他不需要知道集群是否正在运行mapreduce 1或2。

我不太明白的是纱线应用。它与常规mapreduce应用程序有何不同?将mapreduce作业作为纱线应用程序运行等有什么好处?有人可以为我阐明一点吗?

1 个答案:

答案 0 :(得分:0)

MR1具有作业跟踪器和任务跟踪器,可以处理Map reduce应用程序。

在MR2中,Apache使用YARN将map / reduce进程的管理与集群的资源管理分开。 YARN是比MR1更好的资源管理者。它还具有多功能性。 MR2建立在YARN之上。

除了Map reduce之外,我们可以在Yarn之上运行spark,storm,Hbase,Tex等应用程序,这是我们用MR1无法做到的。

以下是MR1和MR2的架构。

HDFS <---> MR

HDFS <----> Yarn <----> MR