datanode中的HDFS孤立文件可以吗？

Question

在日常日志修剪作业中，删除了超过60天的日志，系统管理员将CDH从4.3升级到4.6，（我知道，我知道）......

通常，日志修剪作业可释放大约40％的HDFS可用存储空间。但是，在升级过程中，数据节点出现故障，重新启动以及各种各样的疯狂。

众所周知，HDFS收到了删除命令，因为HDFS文件/文件夹不再存在，但磁盘利用率仍未改变。

我的问题是，HDFS是否已从NameNode的元数据中删除了文件而没有实际执行DataNode中的文件块删除，从而有效地使文件块孤立？

Answer 1

我认为namenode告诉datanode删除孤立的块，一旦它获取了它们所持有的块的报告，它就注意到它们中的一些不属于任何文件。

如果您不希望删除这些块，可以将系统置于安全模式并尝试手动查看磁盘并复制数据。没有自动执行此操作的方法，但将来可能会添加列出孤立块的工具（如此JIRA中所述）。

此外，您可以尝试使用Hadoop fsck检查名称系统的运行状况。