我已经执行了以下hdfs命令。 两者基本相同,因此以GB为单位给出了文件夹的总大小。 -du -h -s命令以MB或KB列出文件大小,因此我正在做必要的转换。 但是我可以看到大小上的差异。 知道为什么会这样吗?。
hdfs dfs -du -h -s /Dataproviders/DataSurgery/input/KAI/Order/Ready/KAI_Order*.* | awk -F' ' 'BEGIN{SUM=0}{ if($2=="M"){SUM+=$1} else if($2=="K"){SUM = SUM + ($1/1024)} } END{ SUM=SUM/1024; print SUM }'
10.1268
hdfs dfs -du -h -s /Dataproviders/DataSurgery/input/KAI/Order/Ready/
12.9 GB