知道hadoop中数据节点的磁盘空间吗？

Question

是否有方法或任何命令可以用来了解每个datanode的磁盘空间或整个群集磁盘空间？

我尝试了命令

dfs -du -h /

但似乎我没有权限为许多目录执行它，因此无法获得实际的磁盘空间。

Answer 1

您可以在namenode UI的Datanodes选项卡中查看有关所有datanode及其磁盘使用情况的信息。 可以在主页的摘要部分中看到总群集磁盘空间。

<强> http://namenode-ip:50070

Answer 2

来自用户界面：

http://namenode:50070/dfshealth.html#tab-datanode

---＆GT;这将为您提供有关datanode的所有详细信息。

从命令行：

获取每个datanode的磁盘空间：

sudo -u hdfs hdfs dfsadmin -report

---＆GT;它将为您提供整个HDFS和各个数据节点的详细信息或

sudo -u hdfs hdfs dfs -du -h /

---＆GT;这将为您提供根/目录

下每个文件夹的总磁盘使用量

Answer 3

如果您使用配置为简单安全性的Hadoop集群，则可以执行以下命令以获取数据节点的使用。

export HADOOP_USER_NAME=hdfs ; 

*上面的命令可用于获得简单安全性的管理员权限，如果您使用任何其他用户进行hdfs管理，请将hdfs替换为相应的hdfs admin用户。

hadoop dfsadmin -report 

备用选项是登录到相应的datanode并执行以下unix命令以获取该服务器的磁盘利用率。

df -h

Answer 4

的Hadoop 3.2.0：

hduser@hadoop-node1:~$ hdfs dfs -df
Filesystem                          Size          Used     Available  Use%
hdfs://hadoop-node1:54310  3000457228288  461352007680  821808787456   15%
hduser@hadoop-node1:~$

对于易于理解的数字，请使用：

hduser@hadoop-node1:~$ hdfs dfs -df -h
Filesystem                  Size     Used  Available  Use%
hdfs://hadoop-node1:54310  2.7 T  429.7 G    765.4 G   15%
hduser@hadoop-node1:~$