在镶木地板输出的火花空的_metadata文件

时间:2016-12-30 19:45:42

标签: apache-spark oozie parquet

我正在使用Oozie工作流程来生成镶木地板文件。偶尔,当我尝试使用spark读取文件时,我得到以下异常

  

java.io.IOException:无法读取页脚:   了java.lang.RuntimeException:   hdfs://ip-10-1-2-243.ec2.internal:8020 / path / to / file / _metadata不是   镶木地板文件(太小)

删除元数据文件后,我可以正常读取其余文件。我想知道是什么原因导致Spark输出一个空的_metadata文件,以及我将来如何避免它。

0 个答案:

没有答案