apache spark saveAsObjectFile默认写入hdfs

Question

• 当我在本地运行spark（非hdfs）时，RDD saveAsObjectFile将文件写入本地文件系统（例如：path /data/temp.txt）

• 当我在YARN群集上运行spark时，RDD saveAsObjectFile将文件写入hdfs。 （例如：path /data/temp.txt）

在YARN群集上运行spark时，有没有办法明确提及本地文件系统而不是hdfs。

Answer 1

您可以在参数中明确指定“file：///”前缀。

yourRDD. saveAsObjectFile("file:///path/to/local/filesystem")