加载hdfs分区文件列表

Question

我正在编写一个小程序，使用Java加载hdfs文件。当我运行代码时，我从hdfs中获取文件列表。但是，我想单独获得分区文件。例如，part-00000文件。

下面是示例代码：

            Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://localhost");
            FileSystem hdfs = FileSystem.get(new URI(
                    "hdfs://localhost"), conf);
            RemoteIterator<LocatedFileStatus> fsStatus = hdfs.listFiles(
                    new Path("/hdfs/path"), true);
            while (fsStatus.hasNext()) {
                String path = fsStatus.next().getPath().toString();
                System.out.println(path.matches("part-"));

            }

Answer 1

我假设您要打印该路径，而不是它匹配的事实

if (path.startsWith("part-")) {
    System.out.println(path);
}