在何处放置在AWS EMR上运行的Spark应用程序的应用程序属性文件

Question

我正在向EMR提交一个spark应用程序作业jar，它正在使用某些属性文件。因此，我可以将其放入S3中​​，并在创建EMR时将其下载并复制到EMR框中的某个位置，如果这是在引导时创建EMR群集本身的最佳方式。

Answer 1

检查以下快照

在编辑软件设置中，您可以添加自己的配置或JSON文件（存储在S3位置），并使用此设置可以在创建时将configure参数传递给EMR集群。有关更多详细信息，请检查以下链接

Amazon EMR Cluster Configurations

Configuring Applications

AWS ClI

希望这会对您有所帮助。