Spark:公平的计划程序

时间:2018-08-29 22:47:10

标签: scala apache-spark scheduler

我已经按照文档中的建议设置了公平的计划程序:

conf.set("spark.scheduler.mode", "FAIR")
val sc = new SparkContext(conf)

当我使用--conf spark.scheduler.mode="FAIR."启动spark-shell时,我实际上是在命令行上完成的

park Shell UI显示FAIR。但是,当我运行我的工作时,它总是在FIFO中。

我也必须在XML文件中定义默认池的属性吗?我虽然那只是针对用户指定的池。

我为一个,不需要有多个池。我只需要一个池,最好是默认池,并获得合理的调度。我错过了哪一步,应该怎么做?

0 个答案:

没有答案