Hadoop:由于任务失败,作业失败。 failedMaps:1次失败减少:0次

时间:2018-10-04 23:23:30

标签: hadoop mapreduce

我正在尝试运行随机作业,但是当它获得4个作业失败时,它将使作业失败:

Job failed as tasks failed. failedMaps:1 failedReduces:0

我尝试了很多次,但每4次失败,我的工作就会失败,所有任务都会被杀死。 是否可以更改此失败次数?

2 个答案:

答案 0 :(得分:0)

问题是SAME映射失败4次。

答案 1 :(得分:0)

您可以使用以下参数来更改mapred-site.xml文件中的故障阈值:

I = 2

也可以忽略失败的任务,这些参数表示失败任务的阈值:

mapreduce.map.maxattempts
mapreduce.reduce.maxattempts