无法使用sc.textfile进行带有V4身份验证的amazon s3

Question

我正在尝试使用spark-shell从ec2集群中读取/写入来自amazon s3的文件。我已经设置了访问密钥和密钥。但我每次都得到同样的错误。问题仅出在仅支持V4身份验证的区域。

com.amazonaws.services.s3.model.AmazonS3Exception: Status Code: 400, AWS Service: Amazon S3, AWS Request ID: 699BD72FAC289B47, AWS Error Code: null, AWS Error Message: Bad Request

我也尝试将端点设置为大部分答案。但仍然得到同样的错误。