在S3

时间:2018-04-23 21:12:34

标签: apache-spark spark-dataframe parquet

我不想对spark数据帧进行分区或重新分区,并编写多个部分文件,因为它可以提供最佳性能。有没有办法在将文件写入S3后合并文件。

我使用了镶木地板工具,并将其合并到本地文件中。我想在S3上这样做。

0 个答案:

没有答案