运行mapreduce 2的集群没有作业跟踪器,而是分成两个独立的组件,资源管理器和作业管理器。但是,这些东西对于用户来说是透明的,并且在提交mapreduce作业时他不需要知道集群是否正在运行mapreduce 1或2。
我不太明白的是纱线应用。它与常规mapreduce应用程序有何不同?将mapreduce作业作为纱线应用程序运行等有什么好处?有人可以为我阐明一点吗?
答案 0 :(得分:0)
MR1具有作业跟踪器和任务跟踪器,可以处理Map reduce应用程序。
在MR2中,Apache使用YARN将map / reduce进程的管理与集群的资源管理分开。 YARN是比MR1更好的资源管理者。它还具有多功能性。 MR2建立在YARN之上。
除了Map reduce之外,我们可以在Yarn之上运行spark,storm,Hbase,Tex等应用程序,这是我们用MR1无法做到的。
以下是MR1和MR2的架构。
HDFS <---> MR
HDFS <----> Yarn <----> MR