如何使用spark-submit为Spark作业选择队列?

时间:2017-04-21 20:17:33

标签: apache-spark yarn

有没有办法提供参数或设置来选择我想要运行spark_submit作业的队列?

1 个答案:

答案 0 :(得分:10)

使用--queue 因此,火花提交工作的一个例子是: -

  

spark-submit --master yarn --conf spark.executor.memory = 48G --conf spark.driver.memory = 6G --packages [packages between,] --queue [queue_name] --class [class_name ] [jar_file] [参数]