我正在尝试运行随机作业,但是当它获得4个作业失败时,它将使作业失败:
Job failed as tasks failed. failedMaps:1 failedReduces:0
我尝试了很多次,但每4次失败,我的工作就会失败,所有任务都会被杀死。 是否可以更改此失败次数?
答案 0 :(得分:0)
问题是SAME映射失败4次。
答案 1 :(得分:0)
您可以使用以下参数来更改mapred-site.xml文件中的故障阈值:
I = 2
也可以忽略失败的任务,这些参数表示失败任务的阈值:
mapreduce.map.maxattempts
mapreduce.reduce.maxattempts