在文件夹上hdfs dfs -rmr的情况下，何时从数据节点删除数据？

Question

我们知道，当我们运行rmr命令时，会创建编辑日志。数据节点是否在清除数据之前等待FSImage的更新，或者同时发生？从Journal节点确认交易是否存在任何先决条件？只是想了解HDFS编辑是如何工作的，其中你可以对磁盘大小进行大规模的改变。在'hdfs dfs -du -s -h / folder'和'hdfs dfsadmin -report'反映尺寸减小之前需要多长时间？我们尝试删除2TB数据，1小时后，数据节点本地文件夹（/ data / yarn / datanode）仍然没有减少2TB。

Answer 1

从HDFS删除数据后，hadoop将该数据保存在垃圾文件夹中，您需要在命令下运行以释放磁盘空间

Hadoop fs -expunge

然后HDFS会释放空间。

或者您可以在删除数据时运行以下命令以跳过垃圾

Hadoop fs -rmr -skipTrash /folder

它不会将数据移入垃圾箱。

注意：文件会在/ trash中保留一段可配置的时间。在/ trash中生命到期后，NameNode将从HDFS命名空间中删除该文件。