如何在S3存储桶中配置应用程序配置以使Spark应用程序在AWS EMR上运行

Question

我正在尝试在AWS EMR上以集群模式提交Spark作业。 spark应用程序需要解析application.conf文件以进行应用程序配置。我使用spark-submit --files s3://bucket/application.conf ...提交了配置文件 正在对应用程序配置进行如下解析。

val confFile = SparkFiles.get("application.conf")
val config = ConfigFactory.parseFile(new File(confFile))

SparkFiles.get("application.conf")能够返回文件路径，但是在尝试获取特定配置时，ConfigFactory无法正确解析文件并抛出异常No configuration setting found for key...。 请让我知道这里出了什么问题。