Hadoop

Question

如何在hadoop中设置推测执行？ 我们需要在哪些配置文件中进行这些更改？请逐步说明。

是否应在Name节点或Data节点中进行推测性执行更改？如果在数据节点中我们可以将它们设置为特定的系统，例如（我的集群中的1-10个系统，我只为2,3个数据节点系统设置推测执行）

Answer 1

默认情况下，Hadoop中的推特执行 。

要启用/禁用推测执行，请在mapred-site.xml

中修改这些属性

<property>
   <name>mapreduce.map.speculative</name>
   <value>true</value>
</property>
<property>
   <name>mapreduce.reduce.speculative</name>
   <value>true</value>
</property>

这是一个群集范围的属性，也可以在作业级别设置。

  

如果在Data节点中我们可以将它们设置为特定系统

否，可以限制作业运行推测任务，但不能限制节点。