是否可以在Spark中以编程方式添加公平调度程序池?

时间:2019-03-28 11:15:31

标签: apache-spark

我正在开发一个应用程序,其中多个用户使用相同的SparkContext将他们的查询启动到Spark集群。

如Spark文档所述(https://spark.apache.org/docs/2.2.0/job-scheduling.html#fair-scheduler-pools),使用Fair调度程序,您可以为每个用户分配一个不同的池,他们将获得公平的集群资源份额,但是每个池都将使用默认的池配置(调度模式FIFO,权重1和minShare 0)。

鉴于我们事先不知道哪些用户可以连接到应用程序,因此我们无法为所有用户的公平调度程序池设置配置文件。

因此,为了动态地为每个用户分配一个池并以FAIR调度模式设置每个池,我认为可能有2个选择:

  1. 更改默认池行为,以将调度模式更改为FAIR。可能吗?怎么样?
  2. 动态和以编程方式生成调度程序池,以便在用户首次连接到应用程序时添加调度程序池,并且应使用FAIR调度模式创建该池。可能吗?怎么样?

预先感谢

0 个答案:

没有答案