Sparkr将DF写为文件csv / txt

Question

您好我在纱线模式下处理sparkR。

我需要在csv / txt文件中写一个sparkr df。

我看到有write.df，但它写了镶木地板文件。

我试着做这件事

RdataFrame<-collect(SparkRDF)
write.table(RdataFrame, ..)

但是我在contextCleaner上获得了很多WARN和一些错误。

有什么办法吗？

Answer 1

Spark 2.0 +

您可以使用write.text功能：

  

将SparkDataFrame的内容保存在文本文件中        指定的路径。 SparkDataFrame必须只有一列        名称为“value”的字符串类型。每行都成为一个新行        输出文件。

write.text(df, path)

带有内置SparkR write.df编写器的

或csv：

write.df(df, path, source="csv")

Spark 1.x

您可以使用spark-csv包：

write.df(SparkRDF, "foo.csv", "com.databricks.spark.csv", ...)

例如，可以将packages参数添加到SparkR / spark-submit：

sparkR --packages com.databricks:spark-csv_2.10:1.3.0 # For Scala 2.10
sparkR --packages com.databricks:spark-csv_2.11:1.3.0 # For Scala 2.11

有关其他选项，请参阅the official documentation