Hadoop中减少器的推测执行未触发

时间:2018-01-19 00:46:43

标签: hadoop reducers speculative-execution

我设置了以下标志,以便为我的MR作业触发推测性执行。有一些糟糕的硬件导致作业运行时间很长(8-9小时而不是常规的1.5-3小时),理想情况下,当我们猜测时,硬件问题不应影响Hadoop MR作业运行时间。映射器工作正常并触发推测但是没有在减速器上触发任何猜测(即使是那些运行8小时的减速器)。在这种情况下的任何帮助都将非常有价值。

参数值的来源:http://docs.qubole.com/en/latest/user-guide/hadoop/hadoop1/speculation.html

 mapred.speculative.reduce.lag=120000
 mapreduce.reduce.speculative=true
 mapreduce.job.speculative.stddevmeanratio.max=0.8
 mapred.speculative.reduce.duration=300 
 mapred.reduce.tasks.speculation.unfinished.threshold=0.001 

0 个答案:

没有答案