如何将数据帧从scala写入HDFS作为csv

Question

我是scala和HDFS的新手。我需要将我的数据转储到HDFS中。数据采用火花数据帧的形式，但我想在HDFS中将其写为CSV。 有人可以分享初学者的基本boilder版代码。

谢谢

Answer 1

如果您的数据是平的，那么以下内容就可以了。

val df: DataFrame = ???
val filePath: String = ???
df.map(_.mkString(",")).saveAsTextFile(filePath)

然而，问题的问题是我们需要查看您的数据是什么样的。例如，如果它有嵌套的Structs，那么保存为CSV并没有明确定义。