如果ResourceManager失败怎么办?

时间:2014-06-06 01:58:35

标签: hadoop mapreduce resourcemanager

在最新版本的Hadoop mapreduce(称为“Yarn”)中,JobTracker(存在于以前的版本中)已被ResourceManager(称为“RM”)和ApplicationMaster取代。 在关于Yarn架构的官方文档中,没有任何文字说明MapReduce集群中有多少个RM,并且关于Yarn架构的给定图表显示集群中只存在1个RM。

那么,如果唯一的RM下降怎么办?如果有几个RM,它们如何一起工作?

希望有人可以向我解释。 感谢。

1 个答案:

答案 0 :(得分:1)

每个机架有1个RessourceManager,但您的群集中可以有多个机架。

如果在RessourceManager关闭时尝试提交作业,Hadoop将尝试连接到RessourceManager,因为它需要它来执行作业。

以下是RM关闭并尝试提交作业时的日志示例:

14/06/06 09:39:54 INFO ipc.Client: Retrying connect to server: hadoop01.sii.fr/10.6.6.211:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
14/06/06 09:39:55 INFO ipc.Client: Retrying connect to server: hadoop01.sii.fr/10.6.6.211:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
14/06/06 09:39:56 INFO ipc.Client: Retrying connect to server: hadoop01.sii.fr/10.6.6.211:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)  

当RM回来时,作业正在正确提交。

相关问题