如何使用sqlContext加载多个镶木地板文件?

时间:2015-11-21 15:20:45

标签: hadoop apache-spark

我正在尝试在spark中加载一个镶木地板文件目录,但似乎无法让它工作......这似乎有用:

val df = sqlContext.load("hdfs://nameservice1/data/rtl/events/stream/loaddate=20151102")

但这不起作用:

val df = sqlContext.load("hdfs://nameservice1/data/rtl/events/stream/loaddate=201511*")

它让我回到了这个错误:

java.io.FileNotFoundException: File does not exist: hdfs://nameservice1/data/rtl/events/stream/loaddate=201511*

如何使用外卡?

2 个答案:

答案 0 :(得分:7)

您可以使用文件系统列表状态读取文件或文件夹列表。 然后查看要阅读的文件/文件夹。 使用reduce with union将所有文件缩减为单个rdd。

获取文件/文件夹:

val fs = FileSystem.get(new Configuration())
val status = fs.listStatus(new Path(YOUR_HDFS_PATH))

读入数据:

val parquetFiles= status .map(folder => {
    sqlContext.read.parquet(folder.getPath.toString)
  })

将数据合并为单个rdd:

val mergedFile= parquetFiles.reduce((x, y) => x.unionAll(y))

您还可以查看我过去关于同一主题的帖子。

Spark Scala list folders in directory

Spark/Scala flatten and flatMap is not working on DataFrame

答案 1 :(得分:1)

如果提供的路径是分区目录,请在数据源的选项中设置“basePath”以指定表的根目录。如果有多个根目录,请单独加载它们然后合并它们。

像:

basePath="hdfs://nameservice1/data/rtl/events/stream"

sparkSession.read.option("basePath", basePath).parquet(basePath + "loaddate=201511*")