如果我在hadoop

时间:2017-08-16 14:46:50

标签: hadoop hdfs hadoop2

我丢弃了一个巨大的蜂巢桌,但hdfs空间没有被回收。所以我跑了

hdfs dfs -expunge

输出结果为:

17/08/16 16:34:10 INFO fs.TrashPolicyDefault: TrashPolicyDefault#deleteCheckpoint for trashRoot: hdfs://master.xxx.xx:8020/user/hdfs/.Trash
17/08/16 16:34:10 INFO fs.TrashPolicyDefault: TrashPolicyDefault#deleteCheckpoint for trashRoot: hdfs://master.xxx.xx:8020/user/hdfs/.Trash
17/08/16 16:34:10 INFO fs.TrashPolicyDefault: TrashPolicyDefault#createCheckpoint for trashRoot: hdfs://master.xxx.xx:8020/user/hdfs/.Trash

结果:HDFS空间仍然没有被回收 所以我检查了/user/hdfs/.Trash的内容 它是空的

然后我发现要删除的文件位于/user/admin/.Trash。由于我无法清空垃圾箱,我通过ambari Web-UI手动删除了该文件夹的内容。现在文件已经消失,但空间仍未回收。

我尝试将fs.trash.interval设置为1并重新运行hdfs dfs -expunge但没有结果。

hdfs释放出来只是时间问题吗? 我该怎么做才能加快这个过程?

修改
所有数据节点的hdfs dfsadmin -report输出相似

Rack: /rack-2
Decommission Status : Normal
Configured Capacity: 411587164672 (383.32 GB)
DFS Used: 365118869504 (340.04 GB)
Non DFS Used: 2094696960 (1.95 GB)
DFS Remaining: 44373598208 (41.33 GB)
DFS Used%: 88.71%
DFS Remaining%: 10.78%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 2

EDIT2 一段时间后,某些主机上的磁盘空间已经恢复,但并非全部。我可以期待其他主机也会​​释放他们的磁盘空间吗? Ambari hosts

0 个答案:

没有答案