我在2台机器2.1.0 Spark群集上运行作业。
我试图将Dataframe保存为CSV文件(或多个文件,但这并不重要)。 当我使用时:
df.write
.options(options)
.csv(finalPath)
它成功地将数据保存到每个分区的csv文件中。 在我的一台机器上,它将.csv文件创建为我输入的目录中的部分XXXX文件,这很棒。 但是在另一台机器上,它在我输入的目录中创建一个_temporary / 0 /子目录,其中的文件格式为task_XXXX,这种行为不太好。
为什么会这样?有没有办法让它像第一台机器一样被编写?没有创建_temporary / 0 /子目录?
提前致谢:)