我已经按照文档中的建议设置了公平的计划程序:
conf.set("spark.scheduler.mode", "FAIR")
val sc = new SparkContext(conf)
当我使用--conf spark.scheduler.mode="FAIR."
启动spark-shell时,我实际上是在命令行上完成的
park Shell UI显示FAIR。但是,当我运行我的工作时,它总是在FIFO中。
我也必须在XML文件中定义默认池的属性吗?我虽然那只是针对用户指定的池。
我为一个,不需要有多个池。我只需要一个池,最好是默认池,并获得合理的调度。我错过了哪一步,应该怎么做?