在V4 s3存储桶上使用s3a协议时的错误请求

Question

我正在尝试从法兰克福地区的s3桶中下载文件。

最初在带有hadoop 2.7.5的spark 2.2.1中遇到了这个问题。

我收到了这条消息：

  

com.amazonaws.services.s3.model.AmazonS3Exception：状态代码：400，AWS服务：Amazon S3，AWS请求ID：F6EB301E99C9BC7A，AWS错误代码：null，AWS错误消息：错误请求，S3扩展请求ID：

设置

       sc.hadoopConfiguration.set("fs.s3a.endpoint", "s3.eu-central-1.amazonaws.com")

没有改变一件事。

正在运行./hadoop-2.7.5/bin/hadoop fs -ls s3a://frankfurt-bucket-name 返回完全相同的错误。

这是我的core-site.xml

<configuration>
<property>
  <name>fs.s3a.endpoint</name>
  <value>s3.eu-central-1.amazonaws.com</value>
</property>
</configuration>

如何让hadoop使用V4签名？

Answer 1

升级hadoop和spark版本可以解决此问题。