我是否可以确保新的Hadoop任务将在输入文件中恢复失败任务的位置恢复？

Question

我正在运行Hadoop 2.7.2。

让我们说10个Hadoop任务正在运行，每个任务正在处理1个HDFS输入文本文件。

让我们说其中一个任务失败，比如读取HDFS输入文件file05的第566行。

默认情况会怎样？ Hadoop的第二次任务尝试是否会在file05的第567行恢复？或者第二个任务尝试是否会在file05的第一行开始？

根据使用情况，我可能想要选择处理失败的处理位置。或者，在不同的情况下，我可能想要重新开始处理该文件。

我可以做些什么来确保Hadoop的第二次任务尝试将在file05的第567行恢复？

我可以做些什么来确保第二个任务尝试从file05的第一行开始？

Answer 1

如果任务失败，Application Master将重新尝试重新启动它。该任务将重新启动。有一个参数表示允许重新尝试的次数。如果超过则整个应用程序被杀死。