什么可以导致hadoop杀死减速机任务重试

Question

我的hadoop工作在减速器任务中有一个非常高的“Killed Task Attempts”数字，我检查被杀任务的状态：

Request received to kill task 'attempt_201308122006_41526_r_000030_1' by user
-------
Task has been KILLED_UNCLEAN by the user

并且没有stdout和stderr记录

是什么原因引起的？我该如何解决呢？

Answer 1

如果您启用了投机执行，那么您可能会看到许多将被“杀死”的地图/减少任务。这是因为hadoop在多个任务跟踪器上运行长时间运行的任务，第一个完成“胜利”而其他任务被杀掉。

一般情况下，我只会担心作业跟踪器中“失败”的任务尝试

尝试关闭推测执行：

mapred.map.tasks.speculative.execution = false mapred.reduce.tasks.speculative.execution = false

Answer 2

如果不是推测性执行，可能是Fair Scheduler在使用minMaps和minReduces声称使用任务跟踪器进行池时。