MRJob - 限制任务尝试次数

Question

在MyJob中，如何限制任务尝试次数（如果任务失败）？

我有长时间运行的任务（相应地增加了超时），但我希望在完成同一任务的2次失败尝试后结束作业，而不是4-5。

我在文档中找不到这样的内容：

http://mrjob.readthedocs.org/en/latest//en/latest/guides/configs-reference.html

Answer 1

对于地图作业，您可以在Hadoop 2中设置mapreduce.map.maxattempts。对于减少作业，请设置mapreduce.reduce.maxattempts（source）。 Hadoop 1中的等价物是：mapred.map.max.attempts和mapred.reduce.max.attempts。

如果您在MRJob中使用conf文件，可以将其设置为：

runners:
    emr:
        jobconf:
            mapreduce.map.maxattempts: 2