如何使用sqlContext加载多个镶木地板文件？

Question

我正在尝试在spark中加载一个镶木地板文件目录，但似乎无法让它工作......这似乎有用：

val df = sqlContext.load("hdfs://nameservice1/data/rtl/events/stream/loaddate=20151102")

但这不起作用：

val df = sqlContext.load("hdfs://nameservice1/data/rtl/events/stream/loaddate=201511*")

它让我回到了这个错误：

java.io.FileNotFoundException: File does not exist: hdfs://nameservice1/data/rtl/events/stream/loaddate=201511*

如何使用外卡？

Answer 1

您可以使用文件系统列表状态读取文件或文件夹列表。 然后查看要阅读的文件/文件夹。 使用reduce with union将所有文件缩减为单个rdd。

获取文件/文件夹：

val fs = FileSystem.get(new Configuration())
val status = fs.listStatus(new Path(YOUR_HDFS_PATH))

读入数据：

val parquetFiles= status .map(folder => {
    sqlContext.read.parquet(folder.getPath.toString)
  })

将数据合并为单个rdd：

val mergedFile= parquetFiles.reduce((x, y) => x.unionAll(y))

您还可以查看我过去关于同一主题的帖子。

Spark Scala list folders in directory

Spark/Scala flatten and flatMap is not working on DataFrame

Answer 2

如果提供的路径是分区目录，请在数据源的选项中设置“basePath”以指定表的根目录。如果有多个根目录，请单独加载它们然后合并它们。

像：

basePath="hdfs://nameservice1/data/rtl/events/stream"

sparkSession.read.option("basePath", basePath).parquet(basePath + "loaddate=201511*")