我正在尝试使用Spark读取多个文件 这些文件是avro文件，存储在名为datalake的Minio存储桶中
我正在使用： 不使用hadoop编译的Spark 2.2.1
Minio（最新的minio / minio泊坞窗）
2个软件包：com.databricks：spark-avro_2.11：4.0.0和org.apache.hadoop：hadoop-aws：2.8.3
我目前正在使用pyspark进行测试：
PYSPARK_PYTHON=python3 /usr/local/spark/pyspark --packages com.databricks:spark-avro_2.11:4.0.0,org.apache.hadoop:hadoop-aws:2.8.3
与Minio的连接的初始化：
AWS_ID='localKey'
AWS_KEY='localSecret'
sc._jsc.hadoopConfiguration().set("fs.s3a.access.key", AWS_ID)
sc._jsc.hadoopConfiguration().set("fs.s3a.secret.key", AWS_KEY)
sc._jsc.hadoopConfiguration().set("fs.s3a.endpoint", "http://127.0.0.1:9000")
当文件直接存储在存储桶根目录中时，我可以使用这样的通配符：
DF_RANDOM = spark.read.format("com.databricks.spark.avro").load("s3a://datalake/random-random_table+0+000000001*.avro")
结果正常：
DF_RANDOM.show()
+-----+-------------------+---+-------------+
|index| A| B| timestamp|
+-----+-------------------+---+-------------+
| 12| 0.5680445610939323| 1|1530017325000|
| 13| 0.925596638292661| 5|1530017325000|
| 14|0.07103605819788694| 4|1530017325000|
| 15|0.08712929970154071| 7|1530017325000|
+-----+-------------------+---+-------------+
但是，如果文件存储在子文件夹中：
DF_RANDOM = spark.read.format("com.databricks.spark.avro").load("s3a://datalake/random/random-random_table+0+000000001*.avro")
发生错误：
Py4JJavaError: An error occurred while calling o111.load. : java.nio.file.AccessDeniedException: s3a://datalake/random: getFileStatus on s3a://datalake/random: com.amazonaws.services.s3.model.AmazonS3Exception: Forbidden (Service: Amazon S3; Status Code: 403; Error Code: 403 Forbidden; Request ID: null), S3 Extended Request ID: null
我不明白为什么？ 子文件夹由kafka连接器创建
请注意，如果我不使用通配符，则可以访问存储在这些子文件夹中的文件，如下所示：
DF_RANDOM = spark.read.format("com.databricks.spark.avro").load("s3a://datalake/random/random-random_table+0+0000000012.avro")
是否有任何政策或对set的访问权？ spark.read指令似乎像读取文件一样读取s3：// datalake / random，但它是要浏览的文件夹
有什么想法吗？
仍然感谢