文本文件可以直接从Spark输出到本地文件系统吗？

Question

使用RDD，我可以输出rdd.saveAsTextFile('directory')，将文件保存在hdfs://directory中。文本文件可以直接保存到本地文件系统上的目录（即directory）吗？

Answer 1

当然你可以......因为saveAsTextFile（＆＃39;目录＆＃39;）将保存与分区程序一样多的文件，你首先需要在复制到本地之前合并文件（除非你想复制每个文件到本地）。因此先打电话

FileUtil.copyMerge(sourceFileSystem, new Path(sourceFullPath), destFileSystem, new Path(destinationFullPath), true, sparkContext.hadoopConfiguration, null)

然后使用

FileSystem fs = FileSystem.get(yourConfiguration)
fs.copyToLocalFile(true, destinationFullPath, localFilePath)