hadoop:如何增加失败任务的限制

时间:2013-12-13 06:16:33

标签: hadoop mapreduce

我想运行一个作业,以便记录所有任务失败,否则将被忽略(基本上是为了测试我的输入)。现在,当任务失败时,我得到“失败的地图任务超过允许限制数”。如何增加限额?

我使用Hadoop 1.2.1

2 个答案:

答案 0 :(得分:3)

在mapred-site.xml中指定 mapred.max.map.failures.percent mapred.max.reduce.failures.percent 以指定失败阈值。两者都设置为0.检查JobConf.java的代码以获取更多详细信息。

答案 1 :(得分:-1)

为了设置增加MapTasks的限制,请尝试在mapred-site.xml文件中添加以下内容。

<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>{cores}</value>
</property>

这将使MapTasks的数量设置为最大值。代替{cores},您应该替换您拥有的核心值。将此值设置为可用核心的精确值不被认为是好的。如果您有任何问题,请告诉我。

希望这有帮助。

快乐的Hadooping !!!