如何调整在本地模式下运行的Spark应用程序的内存

Question

使用本地模式运行Spark Application，我使用了命令，例如：

spark-submit --master local[*] my_spark_application.py

在这种情况下，剂量意味着我的应用程序使用了我本地计算机的所有内存？其他参数，如驱动程序内存和执行程序内存是否仍然有效？

Answer 1

设置驱动程序内存是增加本地 spark应用程序内存的唯一方法。

“由于您在本地模式下运行Spark，因此您已经注意到设置spark.executor.memory将不会产生任何影响。原因是工作者”生活“在您启动的驱动程序JVM进程中当你启动spark-shell时，用于它的默认内存是512M。你可以通过将spark.driver.memory设置为更高的值来增加它，例如来自How to set Apache Spark Executor memory的5g“

Answer 2

这取决于使用哪个虚拟环境工具，如果只安装spark 没有虚拟环境（如docker）它会占用你的本地内存， 因此，我建议在docker容器中使用spark，大约需要220MB（默认值）

首先安装docker;

然后，创建容器;

将spark安装到容器中。