如何使用Spark获取HDFS目录的大小

Question

不知道确切的开始方法，但是在我的用例中，我试图使用Scala来获取HDFS目录的大小，有人可以帮忙吗？

我即将到达此步骤，但是不知道该怎么办？

val fi = hdfs.listStatus(new Path("/path/path")
fi.foreach(x=> println(x.getPath))

Answer 1

这为您提供了一个FileStatus实例。

val fi = hdfs.listStatus(new Path("/path/path")

您可以在getBlockSize上致电FileStatus。

以下是该类中记录的方法

/**
   * Get the block size of the file.
   * @return the number of bytes
   */
  public long getBlockSize() {
    return blocksize;
  }