通过Apache-Spark将数据帧作为单个文件保存到AWS S3

时间:2017-05-30 09:51:11

标签: apache-spark amazon-s3 spark-dataframe

如何将数据框作为单个文件保存到AWS S3?我尝试了重新分区和合并,但没有奏效。数据框保存为文件夹中的多个部分文件,我需要将其保存为单个文件(myfile.csv)

val s3path="s3a://***:***@***/myfile.csv"
df.coalesce(1).write.format("com.databricks.spark.csv").save(s3path)

由于

0 个答案:

没有答案