Spark Scheduler强制应用程序运行

Question

当同一群集上有多个应用程序提交给spark时，spark以先进先出的方式对它们进行排序，直到前一个完成后才能启动任务。我正在尝试找到一种方法使应用程序跳过队列并成为下一个在调度程序中运行的应用程序。有没有办法做到这一点？我无法从文档或用户界面中找到任何内容。

Answer 1

对此的答案证明，如果在第一次申请/工作之后启动，您不能强制单个应用程序或作业在另一个应用程序或作业之前启动。

但是，您应确保在群集中正确设置队列，以便您的队列不会为执行程序而战。在这种情况下，其中一个队列能够使用最多100％的spark执行者。在该队列中，由于应用程序/作业中存在一些错误，因此火花作业排队等待而不进行处理。因为运行它的队列可以访问高达100％的执行程序，所以在此之后的每个作业，无论它们处于什么队列，都必须等待它在运行之前完成并且积压整个集群。