我正在尝试在spark中加载一个镶木地板文件目录,但似乎无法让它工作......这似乎有用:
val df = sqlContext.load("hdfs://nameservice1/data/rtl/events/stream/loaddate=20151102")
但这不起作用:
val df = sqlContext.load("hdfs://nameservice1/data/rtl/events/stream/loaddate=201511*")
它让我回到了这个错误:
java.io.FileNotFoundException: File does not exist: hdfs://nameservice1/data/rtl/events/stream/loaddate=201511*
如何使用外卡?
答案 0 :(得分:7)
您可以使用文件系统列表状态读取文件或文件夹列表。 然后查看要阅读的文件/文件夹。 使用reduce with union将所有文件缩减为单个rdd。
获取文件/文件夹:
val fs = FileSystem.get(new Configuration())
val status = fs.listStatus(new Path(YOUR_HDFS_PATH))
读入数据:
val parquetFiles= status .map(folder => {
sqlContext.read.parquet(folder.getPath.toString)
})
将数据合并为单个rdd:
val mergedFile= parquetFiles.reduce((x, y) => x.unionAll(y))
您还可以查看我过去关于同一主题的帖子。
答案 1 :(得分:1)
如果提供的路径是分区目录,请在数据源的选项中设置“basePath”以指定表的根目录。如果有多个根目录,请单独加载它们然后合并它们。
像:
basePath="hdfs://nameservice1/data/rtl/events/stream"
sparkSession.read.option("basePath", basePath).parquet(basePath + "loaddate=201511*")