如何正确检查hdfs上的磁盘使用情况？

Question

我在纱线上工作，我看到了

Resources are low on NN.  Please add or free up more resources then turn off safe mode manually.

所以，我去检查磁盘空间，我发现有足够的空间：

df -h

Filesystem  Size     Used     Available  Use%  Mounted on
/dev/xvda1  5.0G     4.2 G    491 M      90%   /
tmpfs       30G      0        30 G       0%    /dev/shm
/dev/xvdb   53G      17 G     33 G       34%   /media/ephemeral0

所以有空间。可能有什么问题？

Answer 1

  

NN上的资源很少。

您的Namenode的本地文件系统资源不足。

默认情况下，dfs.namenode.du.reserved配置为104857600 bytes。 I.E.，正在编写编辑dfs.namenode.name.dir的挂载点应至少留有 100MB 的可用空间。检查节点的磁盘空间使用情况。

df -h

释放磁盘以获得足够的空间或为其添加更多磁盘空间。然后离开safemode。

hdfs dfsadmin -safemode leave