使用spark

Question

我已经设置了包含S3访问密钥和秘密密钥的spark配置，并设置了impl。

当我执行sqlContext.getAllConfs

时，我可以看到这些值

但是当我将文本文件读入df时出现错误消息

val df = sqlContext.read
      .format("com.databricks.spark.csv")
      .option("header", "true") // Use first line of all files as header
      .option("delimiter", delimiter)
      // Infer all columns as String
      .option("inferSchema", "false")
      option("mode", "FAILFAST")
      .option("parserLIb", "univelocity")
      .option("charset", "utf-8")
      .load(s"$path/$fileName$fileExtension")
      .replaceNullValues()
      .removeSpecialChars()

该文件位于S3上，并且路径具有s3a：/// folder ....

Answer 1

这可能是您的帐户无权读取文件-但也可能意味着文件已使用您无权使用的KMS密钥加密。