Spark - 动态改变内存分数

Question

我有一个Spark作业，在上半部分需要大部分执行程序内存，在后半部分需要大部分用户内存。有没有办法在运行时动态更改Spark内存分数？

Answer 1

简短：spark.*配置选项无法在运行时更改。

更长：应该没有必要。如果使用最近的Spark（1.6或更高版本），则不推荐使用内存设置。您可以设置spark.memory.useLegacyMode，Spark将完成其余的工作。