将RDD [Row]保存为scala中的文件

Question

我制作了RDD [Row]数据（myData）并尝试将其保存为文件

myData.saveAsFile("path")

output
(a, 100, testcontenct)
(b, 200, stackoverflow)

它运作良好，但由于它将被视为csv，我需要取出＆＃39;（＆＃39;和＆＃39;）＆＃39;符号。 我的最终目标是

a, 100, testcontenct
b, 200, stackoverflow

如何在没有这些符号的情况下制作输出文件。

Answer 1

您可以使用databricks csv库：https://github.com/databricks/spark-csv

我认为它只适用于数据帧，但您可以使用

轻松将RDD转换为数据帧

import sqlContext.implicits._
val myDf = myData.toDF

然后用

将其写入文件

myDf.write
    .format("com.databricks.spark.csv")
    .save("path")