将EMR 5.19升级到5.20

时间:2019-01-14 11:24:32

标签: amazon-web-services amazon-emr

作为EMR Cluster版本的一部分,升级到5.20.0。集群大数据框架和AWS Services版本中的所有框架都已升级到最新版本。

例如:

从Spark 2.3.2到Spark 2.4.0

Presto 0.212至0.214

在测试与应用程序的稳定性和版本兼容性时,我们遇到了1个主要问题。

也就是说,aws cli无法正常工作,因为正在创建群集中的aws配置文件,而区域名称为空。

配置文件中的错误:

s3 = signature_version = s3v4

region = null

鉴于我是开发人员还是测试人员,当我使用Jenkins管道创建新的EMR集群时,上述错误应得到解决,aws cli应该可以正常工作。

1 个答案:

答案 0 :(得分:2)

我遇到了同样的问题,在aws论坛上的该线程上,他们说可以修复此错误:

  

aws configure set default.region eu-west-1

在引导脚本中。

请参阅:https://forums.aws.amazon.com/thread.jspa?messageID=883372#883372