设置角色配额时,mesos上的spark执行器是不平衡的

时间:2018-01-26 00:48:32

标签: apache-spark mesos

我将在mesos上运行spark job,我想限制指定角色的资源。

我尝试在我的工作中运行5个执行器

spark-shell \
--master mesos://zk://host1:2181,host2:2181,host3:2181/mesos \
--conf spark.executor.cores=1 \
--conf spark.cores.max=5 \
--conf spark.mesos.role=myrole

当配额设置被禁用时,我可以获得许多资源提供来分发执行程序。

18/01/25 13:35:49 DEBUG MesosCoarseGrainedSchedulerBackend: Received 4 resource offers.

如果我启用配额设置(http://mesos.apache.org/documentation/latest/quota/),那么我总是只获得1个资源优惠。 enter image description here

18/01/25 13:36:31 DEBUG MesosCoarseGrainedSchedulerBackend: Received 1 resource offers.

我不知道那里发生了什么

我的环境:

  • spark 2.2
  • mesos 1.4.1(master * 3,slave * 5)
  • CentOS 7.3

0 个答案:

没有答案