蜂巢中的Spark队列名称

时间:2016-10-11 12:39:43

标签: apache-spark hive yarn

我正在尝试使用spark引擎在hive中执行我的查询,但我需要在特定的队列中运行它们。除了spark-submit --queue之外,我找不到任何队列名称属性。到目前为止,我已经使用了这些设置:

set hive.execution.engine=spark;
set spark.job.queue.name=MyQueue;
set spark.executor.instances=50;

set spark.queue.name=MyQueue;

但他们不会开始工作。

找到了另一个选择:

set spark.yarn.queue=MyQueue

不起作用

0 个答案:

没有答案