sparkR write.df合并为一个文件

时间:2017-02-08 13:00:09

标签: apache-spark spark-dataframe sparkr

在sparkR中,我将输出写入单个文件而不是许多零件文件。你能否告诉我如何在write.df中使用coalesce,如下所示:

write.df(user_counts, path = '/aaa/bbb/cccc/', source = "csv", mode = "append")

1 个答案:

答案 0 :(得分:2)

根据this document SparkR ver 1.2,以下内容返回仅包含1个分区的新DF:

Cat

根据SparkR ver 2.1 document,以下返回仅有1个分区的新DF:

coalesce(df_name, 1)