作为EMR Cluster版本的一部分,升级到5.20.0。集群大数据框架和AWS Services版本中的所有框架都已升级到最新版本。
例如:
从Spark 2.3.2到Spark 2.4.0
Presto 0.212至0.214
在测试与应用程序的稳定性和版本兼容性时,我们遇到了1个主要问题。
也就是说,aws cli无法正常工作,因为正在创建群集中的aws配置文件,而区域名称为空。
配置文件中的错误:
s3 = signature_version = s3v4
region = null
鉴于我是开发人员还是测试人员,当我使用Jenkins管道创建新的EMR集群时,上述错误应得到解决,aws cli应该可以正常工作。
答案 0 :(得分:2)
我遇到了同样的问题,在aws论坛上的该线程上,他们说可以修复此错误:
aws configure set default.region eu-west-1
在引导脚本中。
请参阅:https://forums.aws.amazon.com/thread.jspa?messageID=883372#883372