为单个MapReduce作业指定“mapreduce.jobtracker.hosts.filename”

时间:2017-07-10 12:59:59

标签: hadoop mapreduce

已在群集中添加了一些节点。当我的M / R作业在其中任何一个上执行时失败。确切原因尚不清楚,需要几天才能找到解决方案,所以我正在寻找一个临时的解决方法。

有没有办法在作业级别上排除这些节点(mapreduce.jobtracker.hosts.exclude.filename)? 或者将旧的工作节点(mapreduce.jobtracker.hosts.filename)列入白名单?

1 个答案:

答案 0 :(得分:1)

您可以将以下属性设置为2

<property>
<name>mapred.max.tracker.failures</name>
<value>2</value>
</property>

并且它将在这些节点上两次失败作业2并继续执行其他地方