如何在Spark独立群集上运行多个应用程序而又不限制资源

时间:2018-09-20 16:42:01

标签: apache-spark

我尝试在Spark独立群集上的多个应用程序上运行。但是似乎默认情况下,火花独立群集遵循FIFO,并且不会同时启动所有应用,而是一直处于等待状态,直到第一个应用完成。

我能够通过受限的火花同时运行所有应用程序,以使用资源受限的资源,例如(spark.cores.max = 2),但是这样有时我最终会利用较少百分比的群集。

无论如何,我是否可以使sparkstandalone集群为应用程序动态分配资源并同时运行所有应用程序?

0 个答案:

没有答案