使用spark-submit排队Spark应用程序

时间:2016-12-12 10:55:27

标签: apache-spark yarn

我有很多spark 1.6应用程序,我想使用YARN一个接一个地运行(因为它们从相同的hive表中读/写)

我尝试使用spark-submit --queue QUENAME ...指定公共队列,但应用程序仍然并行运行。

还有另一种方法可以确保只有一个应用程序同时运行(除了使用循环,例如bash脚本吗?)

0 个答案:

没有答案