Spark提交命令选项--num-executors问题

Question

我有以下Spark配置：

1个硕士和2个工人

• 每个工作人员拥有 88个内核，因此，总编号为。内核数176
• 每个工作程序具有 502 GB 的内存，因此总可用内存为1004 GB

现在我要运行40个执行程序，以便不使用所有内核。

我正在同一条命令下运行。

./spark-submit --class com.sample.Transformation --conf spark.sql.shuffle.partitions=5001 --num-executors=40 --executor-cores=1 --executor-memory=5G --master spark://10.180.181.41:7077 "/MyProject/Transformation-0.0.1-SNAPSHOT.jar" > /MyProject/logs/logs12.txt

在这里我已经--num-executors=40分开了，仍然创建了 176 个执行程序。

在同一命令中，当我更改--executor-cores=3时，它创建了 176/3 = 58 执行程序，并使用了 174个内核。

因此，似乎未在命令中考虑-num-executors 值。

我想了解为什么这种命令行为以及可以解决的问题。

编辑：

我不在这里使用独立模式。