如何阻止Hadoop2在某些故障下重试map / reduce任务。我们可以从中恢复一类故障,并且存在一类我们无法恢复的故障。为“可恢复”类失败重试任务是有意义的,而Hadoop2已经做到了。但是有一些类别的失败,重试没有意义。我们不应该花费任何CPU周期来重试这类故障。
从我所做的阅读中,看起来在下列情况下会重试任务:
我读到第一个原因为“如果任务抛出从java RuntimeException类继承的任何Exception,那么任务将被重试”
我的理解是否正确?我尝试抛出一个Error而不是RuntimeException,但是仍然重试了这些任务。
我将通过一些hadoop源代码并添加我在这里找到的任何见解。 任何帮助都表示赞赏,这将节省我的大量时间。