hadoop：如何增加失败任务的限制

Question

我想运行一个作业，以便记录所有任务失败，否则将被忽略（基本上是为了测试我的输入）。现在，当任务失败时，我得到“失败的地图任务超过允许限制数”。如何增加限额？

我使用Hadoop 1.2.1

Answer 1

在mapred-site.xml中指定 mapred.max.map.failures.percent 和 mapred.max.reduce.failures.percent 以指定失败阈值。两者都设置为0.检查JobConf.java的代码以获取更多详细信息。

Answer 2

为了设置增加MapTasks的限制，请尝试在mapred-site.xml文件中添加以下内容。

<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>{cores}</value>
</property>

这将使MapTasks的数量设置为最大值。代替{cores}，您应该替换您拥有的核心值。将此值设置为可用核心的精确值不被认为是好的。如果您有任何问题，请告诉我。

希望这有帮助。

快乐的Hadooping !!!