Spark-Scala基于像Prod / UAT等环境读取application.conf文件

Question

我在AWS EMR上运行了一个spark应用程序。我们在AWS上有不同的环境，比如prod，uat，dev等。我创建了带有必需变量的application.conf文件，比如s3 buket，iam role等。但显然这些变量对于每个env都是不同的。

如何将不同的conf文件传递给spark-submit，这样我就不必在部署期间为每个环境更改application.conf文件？

Answer 1

根据@ozeebee在此post中给出的答案，我们也可以将其用于火花提交。

在spark-submit中，您需要在 spark.driver.extraJavaOptions 中指定属性，如下所示：

spark-submit 
--conf "spark.driver.extraJavaOptions=-Dconfig.resource=devtest.conf" 
--class thesyscat.query.ingest.eventenrichment.EventEnrichSparkApp 
--master yarn 
--deploy-mode client 
<jar_location>