Spark：本地文件系统作为spark应用程序的默认文件系统

Question

我写了一个spark应用程序，我想在本地文件系统中保存数据帧.Spark需要在本地文件系统中写一个文件。然后我使用java.io.FileReader和FileWriter来读取spark写的本地文件，做一些修改然后再将它写回本地文件系统中。所以我需要使用的文件路径是不变的。例如：file：////name.txt，这将用于dataframa.save和java fileReader以及fileWriter

我用这样的api：

dataframe.save(/abc/name.txt)

但是火花正在将此文件保存到HDFS中。我们是否有任何需要设置的env变量才能将火花保存文件转换为本地fs ??

由于

Answer 1

尝试dataframe.save("file:///<LOCAL_PATH>/name.txt)