在EMR上禁用分段上传

Question

目标是在Amazon EMR上禁用分段上传。

guide表示在创建EMR群集时，在编辑软件设置中输入classification=core-site,properties=[fs.s3.multipart.uploads.enabled=false]。

我的问题是：

1. 我们可以修改 现有 EMR群集的配置吗？如果是的话，该怎么做？
2. 我们可以通过将sparkSession.sparkContext.hadoopConfiguration.set("fs.s3.multipart.uploads.enabled","false")放在要在EMR上执行的jar中来实现相同的目标吗？

Answer 1

遗憾的是，您目前无法在正在运行的EMR群集上修改配置，但如果您可以启动新配置，则可以使用AWS EMR控制台克隆当前群集的配置，然后在启动之前修改配置。 （注意：只克隆配置，而不是可以存储在HDFS或集群实例的本地磁盘上的任何数据。）

但是，我相信您在第二个问题中提出的问题将按预期发挥作用。你试过这个并发现它不起作用吗？