S3存储桶名称将添加到S3端点

Question

尝试使用Scala从S3存储桶访问文件时，存储桶名称会添加到端点的前端，并且端点将变为错误且无法访问。

库：

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0"
libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.0.0"
libraryDependencies += "org.apache.hadoop" % "hadoop-aws" % "2.8.0"

代码：

sc.hadoopConfiguration.set("fs.s3a.endpoint", "[endpoint]")
sc.textFile("s3a://[bucket_name]/testa.txt")

Answer 1

启用path style URLs解决了问题，因为在安装S3的服务器上没有完成虚拟主机配置。 fs.s3a.path.style.access（docs）可以设置为true以启用路径样式网址。