有没有一种方法可以将Spark数据帧写入.dat文件？

Question

我尝试了这个，但是没有用。据我了解，Spark不支持.dat文件格式。我不想将文件写为.csv或.json，然后稍后通过shell脚本进行转换。

a.write.format("dat").save(outputPath)

Answer 1

Spark格式函数不接受“ dat”作为参数。您可以在文档中获得更多信息：https://spark.apache.org/docs/latest/sql-data-sources-load-save-functions.html

很抱歉，您最简单的方法是创建csv，然后将其转换为dat。