我设置了以下标志,以便为我的MR作业触发推测性执行。有一些糟糕的硬件导致作业运行时间很长(8-9小时而不是常规的1.5-3小时),理想情况下,当我们猜测时,硬件问题不应影响Hadoop MR作业运行时间。映射器工作正常并触发推测但是没有在减速器上触发任何猜测(即使是那些运行8小时的减速器)。在这种情况下的任何帮助都将非常有价值。
参数值的来源:http://docs.qubole.com/en/latest/user-guide/hadoop/hadoop1/speculation.html
mapred.speculative.reduce.lag=120000
mapreduce.reduce.speculative=true
mapreduce.job.speculative.stddevmeanratio.max=0.8
mapred.speculative.reduce.duration=300
mapred.reduce.tasks.speculation.unfinished.threshold=0.001