hdfs删除超过7天的目录

Question

我有档案目录结构 /archivedData/Mappings/Web/NOW/， 其中NOW是当前日期： NOW=$(date +"%Y%m%d%H%M")。

我必须从hdfs删除超过7天的NOW个目录。

Answer 1

这可以通过awk和date命令实现，下面是shell脚本

#!/bin/bash
 hadoop fs -ls /archivedData/Mappings/Web/NOW/| while read path; 
 do
 dir_date=`echo $path | awk '{print $6}'`|cut -d'/' -f5
 purge_criteria=`date +"%Y%m%d%H%M" --date "7 days ago"`
        if [ $dir_date -lt $purge_criteria ]; then
            hadoop fs -rm $f
        fi
 done