我将在mesos上运行spark job,我想限制指定角色的资源。
我尝试在我的工作中运行5个执行器
spark-shell \
--master mesos://zk://host1:2181,host2:2181,host3:2181/mesos \
--conf spark.executor.cores=1 \
--conf spark.cores.max=5 \
--conf spark.mesos.role=myrole
当配额设置被禁用时,我可以获得许多资源提供来分发执行程序。
18/01/25 13:35:49 DEBUG MesosCoarseGrainedSchedulerBackend: Received 4 resource offers.
如果我启用配额设置(http://mesos.apache.org/documentation/latest/quota/),那么我总是只获得1个资源优惠。
18/01/25 13:36:31 DEBUG MesosCoarseGrainedSchedulerBackend: Received 1 resource offers.
我不知道那里发生了什么
我的环境: