标签: apache-spark spark-dataframe parquet
我不想对spark数据帧进行分区或重新分区,并编写多个部分文件,因为它可以提供最佳性能。有没有办法在将文件写入S3后合并文件。
我使用了镶木地板工具,并将其合并到本地文件中。我想在S3上这样做。