如何将Spark RDD保存到本地文件系统

Question

我可以使用saveAsTextFile语法将文件保存到本地系统吗？ 这就是我编写保存文件的语法的方法：insert_df.rdd.saveAsTextFile("<local path>")

当我试图这样做时，我得到的错误是没有权限，但我拥有该特定本地路径的所有权限，看起来它将文件视为HDFS文件。

Answer 1

我认为你应该尝试"file:///local path"而不是"/local path"。

Answer 2

以下代码工作正常：

  val outputFilePath = "file:////home/opsdev/SDG/output/"

  DF.repartition(1)
    .write.mode(SaveMode.Append)
    .option("sep", "|")
    .option("header", "true")
    .option("escape", "\"")
    .option("quoteAll", "true")
    .csv(outputFilePath)

不要忘记在本地模式下运行。