如何使用Scala获取HDFS文件系统中目录中的磁盘使用量或文件大小

Question

我正在尝试在Scala中获取HDFS目录中的文件大小。我可以在REPL中执行以下操作：

Seq("/usr/bin/hdfs", "dfs", "-du", "-s", "/tmp/test").!

但我无法将结果存储到值中。如何在Scala中的目录中获取文件的大小？

Answer 1

您使用的!方法来自Yellow dot is current camPoint, pink dot is desired camPoint （Seq[String]被隐式转换为ProcessBuilder，从而授予您访问!的权限。

/** Starts the process represented by this builder, 
  * blocks until it exits, and returns the exit code.
  */
abstract def !: Int

如果您想要输出，请使用其他方法，例如!!

/** Starts the process represented by this builder, 
  * blocks until it exits, and returns the output as a String.
  */
abstract def !!: String

我建议检查ProcessBuilder上定义的其他方法。我确信其中至少有一个能满足您的需求。

Answer 2

我建议使用https://github.com/pathikrit/better-files

import better.files._
import java.io.{File => JFile}

val size = File("/usr/bin/hdfs").size
println(size)