如何从一个位置读取多个parquets时忽略空的镶木地板文件

时间:2016-09-28 20:57:31

标签: file apache-spark dataframe parquet bigdata

我正在尝试将镶木地板文件读取到数据框,就像那样

val df = sqlContext.read.parquet("<location>/*.parquet")

但是,在目录下,可能存在空的镶木地板文件(大小为0字节)。有没有一种有效的方法可以忽略读取空文件?

0 个答案:

没有答案