如何使用Spark Structured Streaming 2.2从s3存储桶中读取tar.gz存档?

时间:2019-01-20 14:52:15

标签: apache-spark amazon-s3 spark-structured-streaming

存档包含简单的文本文件,但是当我通过以下方式从s3中读取存档时:

val streamDF = spark.readStream.textFile("s3n://folder/")

“值”列中的所有值均已压缩

+ --------------------- + |值| + --------------------- + | ``RZ mo7''..

0 个答案:

没有答案