如何检测Parquet文件?

时间:2015-09-14 16:35:57

标签: scala apache-spark parquet

我有一个我正在编写的脚本,它将使用纯文本或Parquet文件。如果它是镶木地板文件,它将使用数据框和其他一些东西来读取它。在我的集群上我正在研究第一个解决方案是最简单的,如果文件的扩展名是.parquet

 if (parquetD(1) == "parquet") {
      if (args.length != 2) {
        println(usage2)
        System.exit(1)
        println(args)
      }
    }

它会用数据帧读取它。问题是我有一些人创建的没有扩展名的文件。所以我想到的第一个不理想的解决方案是读取文件的第一行并检查:PAR。

还有其他解决方案

0 个答案:

没有答案