保存Parquet - Spark时,3个最后字段中的NULL值

时间:2016-12-05 10:13:31

标签: scala apache-spark parquet

当我尝试使用Scala(Spark版本=> 1.6)保存parquet时,在我的输出parquet文件中,我在最后4个字段中获得了一些NULL值;请注意我在Spark的1.5版本中没有这个问题,我想知道这个问题和Spark版本之间是否有任何关联。

我尝试使用以下内容保存文件:

dataFrame.write.parquet(output)

你有什么想法吗?

感谢您的帮助!

0 个答案:

没有答案