目前我正在获取HDFS目录中的文件列表,如下所示
FileSystem fs = DistributedFileSystem.get(
URI.create(projectDir), conf);
for (FileStatus status : fs.listStatus(inputDirPath)) {
//Do something
}
问题是这个目录有很大的文件。所以这填补了记忆。有没有办法可以获得过滤后的文件列表,比如在特定日期之后创建的文件。