如何自动化Hadoop垃圾清理

时间:2014-07-17 23:05:59

标签: hadoop hdfs cloudera

我可以通过运行hadoop fs -expunge清除我的用户文件夹下的垃圾箱 这将删除早于fs.trash.interval值的文件。是否有自动恢复以恢复磁盘空间?

当我运行expunge时,我也会看到以下输出

[cloudera@localhost conf]$ hadoop fs -expunge 14/07/17 15:43:54 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 1 minutes, Emptier interval = 0 minutes.

空间间隔为0表示自动清理已关闭。该值配置在何处?

1 个答案:

答案 0 :(得分:3)

The code表示它被称为fs.trash.interval

编辑:抱歉,误解了这个问题。

空洞实现本身是here,我们可以看到相关的常量似乎是FS_TRASH_CHECKPOINT_INTERVAL_KEY

查看here会显示该密钥为fs.trash.checkpoint.interval

编辑:最后找到了xml conf条目here