Hadoop 2.0资源管理器高可用性

Question

Hadoop 2.0通过Federation Architecture提供高可用性。通过上述架构实现高可用性。

我对“资源管理器”有疑问。

  

MRv2的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监视）分成单独的守护进程。我们的想法是拥有一个全局ResourceManager（RM）和每个应用程序ApplicationMaster（AM）。应用程序可以是传统意义上的Map-Reduce作业中的单个作业，也可以是作业的DAG。

     

ResourceManager和每个节点的从属服务器NodeManager（NM）构成了数据计算框架。 ResourceManager是在系统中所有应用程序之间仲裁资源的最终权限。

我们可以拥有资源管理器，而不是与名称节点共存。由于我们有单一资源管理器，该架构如何解决资源管理器的高可用性问题？

如果资源管理器已关闭或不可用，会发生什么？

Answer 1

在 Hadoop 2.XX 中， HDFS 和 YARN 的高可用性。

NameNode HA用于HDFS高可用性。

资源管理器HA（RMHA），用于YARN高可用性。

在RMHA中，我们有一个主要资源管理器（活动）和一个或多个支持资源管理器。此资源管理器HA由 Zookeeper 协调。如果活动资源管理器已关闭，则FailoverControl将启动故障转移以使其作为活动资源管理器。因此，我们始终可以拥有活动资源管理器。这个概念避免了纱线资源管理器中的单点故障（SPOF）。

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_hag_rm_ha_config.html#concept_xgs_pc5_vl_unique_1

Answer 2

这已经从hadoop v2.4 +中得到了补救。看看here。