我可以在运行时更改Spark的执行程序内存吗?

时间:2015-07-12 08:23:02

标签: java scala hadoop apache-spark yarn

是否可以在Spark中更改运行时执行程序内存的值?我想这样做的原因是,对于某些地图任务,我希望纱线调度程序将每个任务放在一个单独的节点上。通过将执行程序内存增加到接近节点的总内存,我确保它们分布在每个节点上。稍后,我想为每个节点运行几个任务,所以我会为它们降低执行程序内存。

1 个答案:

答案 0 :(得分:5)

不,你不能。

每个执行程序都在自己的JVM上启动,并且您无法在运行时更改JVM内存。请参阅参考:Setting JVM heap size at runtime