是否可以在mesos集群上运行多个Spark应用程序？

Question

我有一个Mesos集群，其中包含1个Master和3个slave（每个都有2个内核和4GB RAM），它们已经启动并运行了Spark应用程序。我想在同一个集群上运行另一个应用程序，因为CPU和内存利用率不高。无论如何，当我尝试运行新的应用程序时，我收到错误：

16/02/25 13:40:18 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

我猜新进程没有获得任何CPU，因为旧的进程占据了所有6。 我已经尝试启用动态分配，使spark应用程序细粒度。分配执行程序核心和执行程序数量的多种组合。我在这里缺少什么？是否可以运行具有多个Spark框架的Mesos群集？

Answer 1

您可以尝试设置spark.cores.max以限制每个Spark驱动程序使用的CPU数量，这将释放一些资源。

文档：https://spark.apache.org/docs/latest/configuration.html#scheduling