Spark Memory Fraction参数-更改值的影响

时间:2018-08-17 07:33:28

标签: apache-spark

spark.memory.fraction

我有一个spark应用程序,当spark.memory.fraction = default时,它将在10分钟左右运行。但是,当将相同的参数值修改为spark.memory.fraction = 0.2时,应用程序将在6分钟内完成。

据我所知,统一内存管理适用于Spark 2,并且无需在执行前更改参数。我想知道为什么将参数值保留为默认值(根据文档{spark.memory.fraction = 0.6)却无法从执行时间中受益。

0 个答案:

没有答案