我想在两天前删除文件上的hdfs,但速度太慢,有人可以提供一些优化想法吗?
格式
drwxr-xr-x 3 nuomi-da-stat nuomi-da-stat 0 2016-11-15 11:58 /app/lbs/nuomi-da-stat/stat_platform_auto/943
shell脚本
hadoop fs -lsr /app/lbs/nuomi-da-stat/stat_platform_auto | awk '
BEGIN {
IFS="\t";
n_days_ago=strftime("%F", systime()-2*24*3600)
} {
if (substr($1,1,1)=="-" && $6<n_days_ago) {print "hadoop fs -rmr", $8}
}' | /bin/bash