Spark作业未在指定的队列中运行

时间:2018-04-26 11:29:05

标签: apache-spark queue bigdata yarn

我正在运行用Scala编写的spark作业。

val conf = new SparkConf().setAppName("BigDataSparkInitialPoc")
conf.set("spark.yarn.queue", "Hive")
val sc = new SparkContext(conf)

上面的代码没有将我的代码提交到名为" Hive"的队列中。 而是作业在默认队列中运行

我检查了Ambari Portal并确保队列已启动并运行。它分配了25%的群集资源。

关于这个问题的任何想法?

0 个答案:

没有答案