Datanode处于死亡状态，因为DFS使用率为100％

Question

我正在使用在同一台机器上运行的Namenode和Datanode的Apache Hadoop独立设置。

我目前正在运行Ubuntu 16.04上的Apache Hadoop 2.6（我无法升级）。

虽然我的系统剩余400 GB以上的硬盘，但我的Hadoop仪表板显示为100％。

为什么Apache Hadoop不会占用剩余的可用磁盘空间？任何人都可以帮我找出解决方案。

Answer 1

可能有某些原因。

您可以尝试以下步骤：

1. 转到$ HADOOP_HOME / bin
2. ./ hadoop-daemon.sh --config $ HADOOP_HOME / conf start datanode

然后你可以尝试以下方法： -

1. 如果namenode和datanode目录以外的任何目录占用太多空间，则可以开始清理 你也可以运行hadoop fs -du -s -h / user / hadoop（查看目录的使用情况）。
2. 识别所有不必要的目录并通过运行hadoop fs -rm -R / user / hadoop / raw_data开始清理（-rm是删除-R是递归删除，使用-R时要小心）。
3. 运行hadoop fs -expunge（立即清理垃圾箱，有时需要多次运行）。
4. 运行hadoop fs -du -s -h /（它将为您提供整个文件系统的hdfs使用，或者您也可以运行dfsadmin -report - 以确认是否回收存储）

很多时候它会显示丢失的块（复制1）。