标签: apache-spark
我尝试在Spark独立群集上的多个应用程序上运行。但是似乎默认情况下,火花独立群集遵循FIFO,并且不会同时启动所有应用,而是一直处于等待状态,直到第一个应用完成。
我能够通过受限的火花同时运行所有应用程序,以使用资源受限的资源,例如(spark.cores.max = 2),但是这样有时我最终会利用较少百分比的群集。
无论如何,我是否可以使sparkstandalone集群为应用程序动态分配资源并同时运行所有应用程序?