执行程序内存和本地部署

时间:2016-12-29 15:51:37

标签: apache-spark

调整执行程序的内存时(例如,通过设置--executor-memory 2g)并为主服务器设置本地部署(local[4]),每个本地线程是否接收2 GB内存或者是2 GB为本地运行设置了总数?

1 个答案:

答案 0 :(得分:1)

每个执行程序进程设置

spark.executor.memory,并且此数量在执行程序线程之间共享。