Databricks spark-csv检查空文件

时间:2016-08-08 21:59:43

标签: java csv apache-spark databricks

我正在尝试使用以下代码将TSV文件读入DataFrame对象:

SQLContext sqlContext = new SQLContext(javaSparkContext);
Map<String, String> sqlContextOptions = new HashMap<>();
sqlContextOptions.put("header", "true");
sqlContextOptions.put("delimiter", "\t");
DataFrame df = sqlContext.read()
        .format("com.databricks.spark.csv")
        .options(sqlContextOptions)
        .load(path);

现在,如果遇到空文件,代码会抛出UnsupportedOperationException。我想处理空文件,但我不想假设这个异常总是意味着一个空文件。检查给定文件是否为空的最佳做法是什么?

1 个答案:

答案 0 :(得分:1)

我没有看到path明确定义,但我假设它是一个包含文件路径的字符串。如果是这种情况,您可以在BufferedReader对象中打开它并检查是否可以从中读取。

BufferedReader br = new BufferedReader(new FileReader(path));     
if (br.readLine() == null) {
    // handle empty file...
} else {
    //do something...
}