我正在尝试使用spark引擎在hive中执行我的查询,但我需要在特定的队列中运行它们。除了spark-submit --queue
之外,我找不到任何队列名称属性。到目前为止,我已经使用了这些设置:
set hive.execution.engine=spark;
set spark.job.queue.name=MyQueue;
set spark.executor.instances=50;
或
set spark.queue.name=MyQueue;
但他们不会开始工作。
找到了另一个选择:
set spark.yarn.queue=MyQueue
不起作用