在最新版本的Hadoop mapreduce(称为“Yarn”)中,JobTracker(存在于以前的版本中)已被ResourceManager(称为“RM”)和ApplicationMaster取代。 在关于Yarn架构的官方文档中,没有任何文字说明MapReduce集群中有多少个RM,并且关于Yarn架构的给定图表显示集群中只存在1个RM。
那么,如果唯一的RM下降怎么办?如果有几个RM,它们如何一起工作?
希望有人可以向我解释。 感谢。
答案 0 :(得分:1)
每个机架有1个RessourceManager,但您的群集中可以有多个机架。
如果在RessourceManager关闭时尝试提交作业,Hadoop将尝试连接到RessourceManager,因为它需要它来执行作业。
以下是RM关闭并尝试提交作业时的日志示例:
14/06/06 09:39:54 INFO ipc.Client: Retrying connect to server: hadoop01.sii.fr/10.6.6.211:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
14/06/06 09:39:55 INFO ipc.Client: Retrying connect to server: hadoop01.sii.fr/10.6.6.211:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
14/06/06 09:39:56 INFO ipc.Client: Retrying connect to server: hadoop01.sii.fr/10.6.6.211:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
当RM回来时,作业正在正确提交。