包括HDFS路径中文件夹中的所有文件

Question

当我设置以下路径时：

 Path file = new Path("hdfs://hdp2minion1.domain.com:8020/apps/hive/warehouse/temp_hbase/");

它返回一个FileNotFoundException（temp_hbase是HDFS上的一个文件夹）。我想简单地包含该文件夹中的所有文件。

还有其他方法可以达到这个目的吗？使用通配符在这里不起作用。

Answer 1

您需要初始化FileSystem

Configuration configuration = new Configuration();
FileSystem hdfs =FileSystem.get(new URI("hdfs://hostname:portNumber"),configuration);

而不是使用。

FileStatus[] status=hdfs.listStatus(new Path("hdfs://abc.com:9000/my/test/folder"));