我有一个运行spark-submit命令的shell脚本。我想指定作业在其上运行的资源队列名称。
当我使用时：
spark-submit --queue myQueue job.py（此处的作业已在“ myQueue”上正确提交）
但是当我使用spark-submit job.py并在job.py内部时，我会创建一个Spark会话，例如：
spark=SparkSession.builder.appName(appName).config("spark.yarn.queue", "myQueue")-在这种情况下，作业在默认队列上运行。同样在Spark UI上检查此正在运行的作业的配置时，它显示出队列名称为“ myQueue”，但该作业仍仅在默认队列上运行。
有人可以解释如何在sparkSession.builder配置中传递队列名称，以使其生效。
使用pyspark 2.3版