删除旧的HDFS文件太慢了

时间:2017-02-09 14:52:50

标签: shell hadoop awk hdfs

我想在两天前删除文件上的hdfs,但速度太慢,有人可以提供一些优化想法吗?

格式

drwxr-xr-x   3 nuomi-da-stat nuomi-da-stat          0 2016-11-15 11:58 /app/lbs/nuomi-da-stat/stat_platform_auto/943

shell脚本

hadoop fs -lsr /app/lbs/nuomi-da-stat/stat_platform_auto | awk '
  BEGIN {
    IFS="\t";
    n_days_ago=strftime("%F", systime()-2*24*3600)
  } {
    if (substr($1,1,1)=="-" && $6<n_days_ago) {print "hadoop fs -rmr", $8}
  }' | /bin/bash

0 个答案:

没有答案