Mesos和spark cluster将Mesos任务限制为两个

时间:2017-10-11 09:32:55

标签: apache-spark pyspark mesos

我想在mesos集群上运行spark应用程序。部署模式将是集群模式。从Mesos Web UI我看到我有以下内容:

java.sql.Driver

当运行我的应用程序而没有额外的配置选项时,我得到一个火花执行器,其中分配了27个核心,因此一个Mesos任务。如果我像这样运行它

Resources
CPUs    GPUs    Mem     Disk
Total   64  0   60.5 GB     68.0 GB
Allocated   6   0   4.5 GB  0 B
Offered     0   0   0 B     0 B
Idle    58  0   56.0 GB     68.0 GB

根据this link here,我希望看到每个4个核心的6个执行器。但我得到的总是两个执行器,每个执行器有4个核心。试过很多配置组合,比如

spark-submit --conf spark.executor.cores=4 --conf spark.max.cores=26.....

但我得到的只有2个执行者(Mesos Tasks),每个执行者有2个核心。 您能否就如何在我的Mesos集群中实现我想要的执行程序数量提供一些帮助?

0 个答案:

没有答案