如何在hadoop流中跳过失败的地图任务

Question

我正在运行一个hadoop流式mapreduce工作，共有26895个地图任务。但是，处理某个输入的一个任务总是失败。所以我设置mapreduce.map.failures.maxpercent=1并希望跳过失败的任务，但工作仍然没有成功。

Kind % Complete  Num Tasks  Pending Running Complete    Killed  Failed/Killed Task Attempts

map     100.00%   26895     0       0       26894       1       8 / 44

reduce  100.00%       1     0       0       0           1       0 / 1

我该怎么做才能跳过这个？

Answer 1

有相同的配置。 在mapred-site.xml中指定 mapred.max.map.failures.percent 和 mapred.max.reduce.failures.percent 以指定失败阈值。两者都设置为0。