如何设置Spark执行器内存？

Question

我已将 spark.executor.memory 设置为 2048m ，并在UI＆＃34;环境＆＃34;页面，我可以看到这个值已经设置正确。但在＆＃34;执行官＆＃34;页面，我看到那里只有1个执行者，其内存 265.4MB 。非常奇怪的价值。为什么不是256MB，或者就像我设定的那样？

我在这里缺少什么？

Answer 1

＆＃34;执行官＆＃34; UI上的选项卡还包括列表中的驱动程序。它的执行者ID＆＃34;列为<driver>。此过程不是由Spark启动的，因此不受spark.executor.memory的影响。

• 如果您使用spark-submit启动驱动程序，则可以通过spark.driver.memory或--driver-memory
控制其最大内存
• 如果您将其作为普通的旧Java程序启动，请使用通常的-Xmx Java标记。

Answer 2

对于265.4MB内存大小，请参阅以下问题...

How to set Apache Spark Executor memory