我有一个镶木地板类型的配置单元表,其中列Content
以base64编码存储各种文档。
现在,我需要读取该列并写入HDFS中的文件,以便将base64列转换为每一行的文档。
val profileDF = sqlContext.read.parquet("/hdfspath/profiles/");
profileDF.registerTempTable("profiles")
val contentsDF = sqlContext.sql(" select unbase64(contents) as contents from profiles where file_name'file1'")
现在contentDF
将文档的二进制格式存储为一行,我需要将其写入文件。尝试了其他选项,但无法将数据框内容恢复到文件中。
感谢有关此的任何帮助。