HDFS计算子文件夹的大小

Question

请告知我如何计算HDFS中子文件夹的大小并按大小排序？ hdfs dfs -ls -h /mds/snapshots/user/data | du -sh * | sort -rh | head -10 似乎它应该有效 - 但据我所知hdfs

之后|无法使用其他命令

Answer 1

您可以使用：

hdfs dfs -du -s /path/* | sort -r -k 1 -g | awk '{ suffix="KMGT"; for(i=0;
$1>1024 && i < length(suffix); i++) $1/=1024; print int($1) substr(suffix, i,
1), $3; }'