用于跳过空行的DataFrameReadercsv（path：String）选项

Question

确实

org.apache.spark.sqlDataFrameReadercsv(path: String) 

有跳过空白行的选项吗？特别是一个空行作为最后一行？

Answer 1

您可以尝试将mode设置为"DROPMALFORMED"，如下所示：

val df = sqlContext.read.format("com.databricks.spark.csv").option("mode", "DROPMALFORMED")...

在Python：

df = sqlContext.read.format('com.databricks.spark.csv').options(mode = "DROPMALFORMED")...

根据documentation：

  

＆＃34; ...删除比预期更少或更多令牌的行。＆＃34;