为什么hdfs dfs -du -s
和hdfs dfs -count -v
(假设CONTENT_SIZE字段的字节相同)是(接近但)不同值?
# at user1@borderNode1
hdfs dfs -count -v "hdfs://XYZ/apps/hive/warehouse/p_xx_db.db"
# DIR_COUNT FILE_COUNT CONTENT_SIZE PATHNAME
# 9087 1610048 141186781009632 hdfs://XYZ/apps/hive/warehouse/p_xx_db.db
hdfs dfs -du -s "hdfs://XYZ/apps/hive/warehouse/p_xx_db.db"
#141186781010380 hdfs://XYZ/apps/hive/warehouse/p_xx_db.db
值141186781009632不是141186781010380。
141186781010380-141186781009632=748
的区别在于块大小(示例中为134217728)...因此,也许一个是准确的,而另一个不是,但我在Hadoop上看不到这种文档。
PS:在指南中没有任何线索here,
hdfs dfs -count
:“计算目录下的字节数...输出列CONTENT_SIZE”。dfs -du
:“显示给定目录中包含的尺寸文件...”。指南只说这两个都是目录下包含的字节数。