Spark - 写入csv导致_temporary文件

时间:2017-07-05 13:05:55

标签: scala csv apache-spark export-to-csv

我在2台机器2.1.0 Spark群集上运行作业。

我试图将Dataframe保存为CSV文件(或多个文件,但这并不重要)。 当我使用时:

df.write
  .options(options)
  .csv(finalPath)

它成功地将数据保存到每个分区的csv文件中。 在我的一台机器上,它将.csv文件创建为我输入的目录中的部分XXXX文件,这很棒。 但是在另一台机器上,它在我输入的目录中创建一个_temporary / 0 /子目录,其中的文件格式为task_XXXX,这种行为不太好。

为什么会这样?有没有办法让它像第一台机器一样被编写?没有创建_temporary / 0 /子目录?

提前致谢:)

0 个答案:

没有答案