HDFS存储检查显示不同的值

时间:2017-08-17 11:31:56

标签: hadoop hdfs

我遇到了一个奇怪的情况,我得到hdfs dfs -du命令的不同结果以及我在cloudera经理UI中看到的结果,我读到了2之间的差异,但没有'任何可以帮助我解决问题并解决问题的线索。

我还删除了所有快照并禁止了它们,但存储没有改变。

以下是输出:

[cloudera-scm@roor-chc101 root]$ hdfs dfs -du -h -s .
2.3 G  5.8 G  .
[cloudera-scm@roor-chc101 root]$ hdfs dfs -du -h -s /
250.3 T  749.3 T

Cloudera经理UI

我还检查了显示与UI相同结果的hdfs dfsadmin -report

Configured Capacity:    1.54 PB
DFS Used:   897.77 TB
Non DFS Used:   2.98 GB
DFS Remaining:  682.27 TB
DFS Used%:  56.82%
DFS Remaining%: 43.18%
Block Pool Used:    897.77 TB
Block Pool Used%:   56.82%
DataNodes usages% (Min/Median/Max/stdDev):  11.17% / 58.94% / 69.35% / 13.31%
Live Nodes  45 (Decommissioned: 0)
Dead Nodes  0 (Decommissioned: 0)
Decommissioning Nodes   0
Total Datanode Volume Failures  0 (0 B)
Number of Under-Replicated Blocks   0
Number of Blocks Pending Deletion   0
Block Deletion Start Time   8/14/2017, 10:57:30 AM

1 个答案:

答案 0 :(得分:0)

我添加了hdfs dfs -du -h -s。和hdfs dfs -du -h -s /只是为了显示我可能错过的任何可能在/ user / cloudera-scm下的内容。

cloudera manager UI显示与hdfs dfsadmin -report相同的值。

顺便说一下,我解决了这个问题,我发现/ tmp / logs / cloudera-scm使用了150T,并且仍然在为什么在运行hdfs dfs -du -h -s

时不考虑这个卷的问题