Apache Spark执行程序的数量

Question

我在数据驱动程序上安装了Spark应用程序，在32个节点的集群上运行它，每个节点16个内核和30GB内存。我想改变一些会话配置，但无论我改变什么，我都不能再创建更多的执行器32（如执行器页面上的spark fire ui）？这些配置我已经改变了：

spark.executor.instances
spark.executor.memory 
spark.executor.cores

正如我所读到的，并发任务的最大数量应为5，所以我想为每个节点制作4个执行器，每个执行器使用4个核心...执行器总数 - 128.我该怎么做？

亲切的问候， 斯蒂芬

Answer 1

对于使用最新版本的Spark版本，我们可以设置参数：--executor-cores和--total-executor-cores。总执行人将为total-executor-cores/executor-cores

试试这个：

spark-submit  --executor-memory 4g --executor-cores 4 --total-executor-cores 512