气流计划根据类型安全配置文件触发作业

Question

我正在使用Airflow计划将JAR（对应于Spark应用程序的打包）提交给Hadoop集群。 不同的Spark作业具有相同的JAR名称，但是根据配置文件（我在TypeSafe配置库中使用.conf文件）启动了不同的作业。我的问题是如何让Airflow解析.conf文件，以便知道要启动哪个火花作业。 所以我在这里用spark-submit --class ( same class for all jobs) -Dconfig.file=path/to/config-file

启动spark应用程序

对此有任何想法S

Answer 1

我遇到了同样的问题。我设法通过JVM系统属性传递配置。它之所以有效，是因为类型安全配置在加载时包括jvm系统属性。

更准确地说，我通过spark.driver.extraJavaOptions在配置文件中发送了必需的属性。