我想在mesos集群上运行spark应用程序。部署模式将是集群模式。从Mesos Web UI我看到我有以下内容:
java.sql.Driver
当运行我的应用程序而没有额外的配置选项时,我得到一个火花执行器,其中分配了27个核心,因此一个Mesos任务。如果我像这样运行它
Resources
CPUs GPUs Mem Disk
Total 64 0 60.5 GB 68.0 GB
Allocated 6 0 4.5 GB 0 B
Offered 0 0 0 B 0 B
Idle 58 0 56.0 GB 68.0 GB
根据this link here,我希望看到每个4个核心的6个执行器。但我得到的总是两个执行器,每个执行器有4个核心。试过很多配置组合,比如
spark-submit --conf spark.executor.cores=4 --conf spark.max.cores=26.....
但我得到的只有2个执行者(Mesos Tasks),每个执行者有2个核心。 您能否就如何在我的Mesos集群中实现我想要的执行程序数量提供一些帮助?