HDFS API - 计算目录，文件和字节的数量

Question

如何在Scala / Java中以编程方式获取HDFS中的DIR_COUNT，FILE_COUNT，CONTENT_SIZE FILE_NAME？ （不是通过壳牌）

val fileStatus = fileSystem.getFileStatus(new Path(path))
val fileByteSize = fileStatus.getLen

FileSystem API似乎没有这些信息。我只能获得1个文件的文件大小（上面的代码）。但是我没有得到每个目录的文件数和字节大小。

我正在寻找类似的行为：

hdfs dfs -count [-q] <paths>

计算提供的路径下的目录，文件和字节数

Answer 1

您可以使用ftp://ftp.openssl.org/source/方法获取有关给定HDFS目录中的文件和目录的信息。

您可以使用返回的FileStatus个对象数组来计算总大小，文件数等。