mapreduce.map.speculative与spark.speculation-有什么区别?

时间:2019-01-15 08:26:01

标签: apache-spark hadoop mapreduce

我注意到mapreduce.map.speculativemapreduce.reduce.speculative默认设置为true(在mapred-default.xml配置文件中)

但是,spark.speculation的默认值为false(在spark-defaults.conf配置文件中)

这些设置之间是否存在干扰?

我相信它们是不同的,第一个适用于使用Hadoop map-reduce引擎,第二个适用于我们使用Spark的情况。当我们在纱线上使用Spark时是否一样?

0 个答案:

没有答案