Hadoop：不要重新安排失败的减速器

Question

这就是Hadoop目前的工作方式：如果reducer失败（例如抛出NullPointerException），Hadoop将重新安排另一个reducer来执行失败的reducer的任务。

是否可以将Hadoop配置为不重新安排失败的Reducer，即如果任何reducer失败，Hadoop只会报告失败而不会做任何其他事情。

当然，没有失败的减速器将继续完成。

Answer 1

您可以使用配置类job.xml

设置mapred.reduce.max.attempts属性

将其设置为0可以解决您的问题

Answer 2

如果您将配置设置为在第一个失败后不立即重新安排失败的任务，则您的jobtracker将失败该作业并终止当前正在运行的任务。所以你想做的事几乎是不可能的。