DSE Spark作业中读取的s3文件失败

Question

我正在使用dse 5.1.0（与spark 2.0.2.6和scala 2.11.8打包在一起）。 尝试运行一个Spark作业，该作业读取s3存储桶中的文件（在孟买地区）。 收到“ 400：错误的请求”错误。 如果同一工作在Apache Spark上运行，则工作正常。 在dse / apache spark shell中进行了以下测试，但在dse中失败。

sc.hadoopConfiguration.set("fs.s3a.access.key", "ACCESSKEY")
sc.hadoopConfiguration.set("fs.s3a.secret.key", "SECRETACCESSKEY")
sc.hadoopConfiguration.set("fs.s3a.endpoint", "s3.ap-south-1.amazonaws.com")
System.setProperty("com.amazonaws.services.s3.enableV4", "true")
val a = sc.textFile("s3a://MUMBAI_REGION_BUCKET/FILE")
a.count

错误：

com.amazonaws.services.s3.model.AmazonS3Exception: Status Code: 400, AWS Service: Amazon S3, AWS Request ID: A716DEAAE05C3F2F, AWS Error Code: null, AWS Error Message: Bad Request