找出HDFS中的实际磁盘使用情况

时间:2015-08-07 07:39:37

标签: hadoop hdfs bigdata diskspace

有没有办法找出HDFS消耗了多少空间? 我用了

hdfs dfs -df

但是在用

删除大量数据后似乎没有相关原因
hdfs dfs -rm -r -skipTrash

上一个命令不会立即显示更改,但会在几分钟后显示(我需要最新的磁盘使用信息)。

3 个答案:

答案 0 :(得分:4)

要查看特定文件夹占用的空间,请尝试:

hadoop fs -du -s /folder/path

如果您想查看整个HDFS的使用情况,占用的空间,可用空间等:

hadoop dfsadmin -report

答案 1 :(得分:0)

// MARK: - Show hide animations in StackViews extension UIView { func hideAnimated(in stackView: UIStackView) { if !self.isHidden { UIView.animate( withDuration: 0.35, delay: 0, usingSpringWithDamping: 0.9, initialSpringVelocity: 1, options: [], animations: { self.isHidden = true stackView.layoutIfNeeded() }, completion: nil ) } } func showAnimated(in stackView: UIStackView) { if self.isHidden { UIView.animate( withDuration: 0.35, delay: 0, usingSpringWithDamping: 0.9, initialSpringVelocity: 1, options: [], animations: { self.isHidden = false stackView.layoutIfNeeded() }, completion: nil ) } } } 已过时。而是使用以下命令:hadoop dfsadmin -report

有关占用空间的详细信息,请查看此script from Vladimir Zlatkin

hdfs dfsadmin -report

注意:请注意用于对脚本文件进行编码的行分隔符以及用于执行脚本文件的用户。

答案 2 :(得分:-2)

hadoop fs -count -q /path/to/directory