以HDFS文件夹

时间:2015-05-22 04:21:15

标签: hadoop hdfs

如果我需要以递归方式列出按文件大小排序的文件在HDFS文件夹中,是否有任何脚本可供参考?

提前谢谢, 林

2 个答案:

答案 0 :(得分:6)

bin/hdfs dfs -ls -R / | sort -r -n -k 5

答案 1 :(得分:0)

尽管@kostya给出了一个很好的答案,但使用一点awk可以帮助重新排列输出以改善下游流程

hdfs dfs -ls -R ${hdfspath} 2> ${hdfsname}.err \
|awk "{ printf \"%s:%s:%s:%s:%s\n\",\$5,\$6,\$3,\$1,\$8; }" \
|sort -rn > hdfs-${hdfsname}.du