是否有任何从spark-submit设置spark.scheduler.pool（本地属性）的可能性

Question

我正在使用公平的调度程序和纱线

0.0.0.0是一个本地属性，用于在为已配置的池执行作业时设置为spark上下文。

像..

spark.scheduler.pool

我只是想知道是否有可能从val sc: SparkContext = ??? sc.setLocalProperty("spark.scheduler.pool", "myPool") 命令设置此本地属性，如spark-submit

Answer 1

是的，spark.scheduler.pool可以使用以下语法设置为spark-submit中的任何值 -

spark-submit --master local --conf spark.scheduler.pool=myPool --class classpath jarfile

我希望它有所帮助！