Scala-将数据帧作为二进制文件写入文件

时间:2018-09-10 13:25:20

标签: scala apache-spark

我有一个镶木地板类型的配置单元表,其中列Content以base64编码存储各种文档。

现在,我需要读取该列并写入HDFS中的文件,以便将base64列转换为每一行的文档。

val profileDF = sqlContext.read.parquet("/hdfspath/profiles/");
profileDF.registerTempTable("profiles")
val contentsDF = sqlContext.sql(" select unbase64(contents) as contents from profiles where file_name'file1'")

现在contentDF将文档的二进制格式存储为一行,我需要将其写入文件。尝试了其他选项,但无法将数据框内容恢复到文件中。

感谢有关此的任何帮助。