标签: apache-spark
spark.memory.fraction
我有一个spark应用程序,当spark.memory.fraction = default时,它将在10分钟左右运行。但是,当将相同的参数值修改为spark.memory.fraction = 0.2时,应用程序将在6分钟内完成。
据我所知,统一内存管理适用于Spark 2,并且无需在执行前更改参数。我想知道为什么将参数值保留为默认值(根据文档{spark.memory.fraction = 0.6)却无法从执行时间中受益。
spark.memory.fraction = 0.6