Question

我正在尝试在spark上提交多个应用程序。

第一个应用程序完成后，Spark会将所有工作节点分配给驱动程序。因此，没有核心可供执行

我的环境：2个工作节点，每个节点有1个核心和2GB RAM，驱动程序在节点上运行。

Spark提交命令：./spark-submit --class Main --master spark://ip:6066 --deploy-mode cluster /jarPath

因此，如果我提交3个作业，在第一个完成后，第二个和第三个为其驱动程序分别获得一个核心，并且没有核心可供执行。

请说明解决此问题的方法。

Answer 1

尝试杀死旧的spark实例：

./bin/spark-class org.apache.spark.deploy.Client kill <master url> <driver ID>

您可以通过http：//：8080的独立主Web界面找到驱动程序ID。