标签: apache-spark amazon-s3 spark-dataframe
如何将数据框作为单个文件保存到AWS S3?我尝试了重新分区和合并,但没有奏效。数据框保存为文件夹中的多个部分文件,我需要将其保存为单个文件(myfile.csv)
val s3path="s3a://***:***@***/myfile.csv" df.coalesce(1).write.format("com.databricks.spark.csv").save(s3path)
由于