我在spark 1.4.0上运行，我有一个由10个执行器组成的集群，每个执行器有4个核心（总共40个核心）
我有5个应用程序（将来可能更多）我想运行，我使用调度程序提交它们（每个应用程序每2-5小时运行一次） -
2个应用程序更重要，我希望它们拥有50％的资源 2应用程序我想用25％的资源运行 1个应用程序我想用10％的资源运行
总核心数目前为40，但如果我添加更多奴隶，它可能会不时更改，而且每次添加奴隶时我都不想更改提交脚本
我不确定如何配置我的spark-submit电话，所以它不会给我留言：
org.apache.spark.scheduler.TaskSchedulerImpl- Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
任何想法？
答案 0 :(得分：0)
从当前（1.4.0）Spark文档：
独立群集模式目前仅支持跨应用程序的简单FIFO调度程序。但是，要允许多个并发用户，您可以控制每个应用程序将使用的最大资源数。默认情况下，它将获取群集中的所有核心，这只有在您一次只运行一个应用程序时才有意义。您可以通过在SparkConf中设置spark.cores.max来限制核心数。
如果你不想进行更高级的控制，你可以考虑使用Yarn或Mesos。