是否应该对相同的reduce任务进行两次尝试继续并行运行？

Question

我的hadoopreduce任务中的操作具有外部效果，并且不是幂等的。而且我在任务跟踪器中观察到尝试了一个reducer，然后在不杀死原始键的情况下启动了针对同一组键的另一个reducer。我配置错了吗？

以下是此reduce任务的表：

Answer 1

这是由于hadoop中的投机执行。如果Hadoop检测到一些集群节点上存在一些慢任务，则可以选择Hadoop指定备份任务。备份任务将优先安排在速度更快的节点上。首先完成的所有重复任务中的一个，将成为后续操作中使用的任务。

您可以通过将以下参数设置为false来关闭此功能

mapred.reduce.tasks.speculative.execution