spark-jobserver - 管理多个EMR集群

Question

我有一个由多个（持久和临时）EMR Spark群集组成的生产环境。

我想使用spark-jobserver的一个实例来管理此环境的作业JAR，并且能够在master时指定预期的POST /jobs权限，而不是永久保存在配置文件中（使用master = "local[4]"配置密钥）。

显然，我更希望spark-jobserver在独立计算机上运行，​​而不是在任何masters上运行。

这有可能吗？

Answer 1

您可以编写SparkMasterProvider

https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server/src/spark.jobserver/util/SparkMasterProvider.scala

这里有一个复杂的例子https://github.com/spark-jobserver/jobserver-cassandra/blob/master/src/main/scala/spark.jobserver/masterLocators/dse/DseSparkMasterProvider.scala

我认为您所要做的就是编写一个将配置输入作为spark master返回的方法，这样您就可以将其作为作业配置的一部分传递。