当NameNode关闭时,hadoop作业会发生什么?

时间:2016-03-18 18:05:21

标签: hadoop mapreduce

在Hadoop 1.2.1中,我想了解对以下这些问题的基本了解

  1. 谁收到了hadoop的工作?是NameNode还是JobTracker?

  2. 如果有人在NameNode关闭时提交Hadoop作业,会发生什么?hadoop作业是否失败?还是进入Hold?

  3. 如果有人在JobTracker关闭时提交Hadoop作业,会发生什么? hadoop工作失败了吗?还是进入Hold?

2 个答案:

答案 0 :(得分:1)

通过Hadoop工作,您可能意味着MapReduce工作。如果您的NN已关闭,并且您没有备用(在HA设置中),您的HDFS将无法正常工作,并且依赖于此HDFS命名空间的每个组件都将被卡住或崩溃。

1)JobTracker(带有hadoop 2.x的Yarn ResourceManager)

2)我不完全确定,但可能会提交作业并在之后失败

3)您无法向已停止的JobTracker提交作业。

答案 1 :(得分:0)

客户端将作业提交给Namenode。 Namenode查找客户端请求的数据并提供块信息。

JobTracker负责完成工作并为工作分配资源。

案例2& 3 - 乔布斯失败。