我正在开发一个应用程序,其中多个用户使用相同的SparkContext将他们的查询启动到Spark集群。
如Spark文档所述(https://spark.apache.org/docs/2.2.0/job-scheduling.html#fair-scheduler-pools),使用Fair调度程序,您可以为每个用户分配一个不同的池,他们将获得公平的集群资源份额,但是每个池都将使用默认的池配置(调度模式FIFO,权重1和minShare 0)。
鉴于我们事先不知道哪些用户可以连接到应用程序,因此我们无法为所有用户的公平调度程序池设置配置文件。
因此,为了动态地为每个用户分配一个池并以FAIR调度模式设置每个池,我认为可能有2个选择:
预先感谢