HDFS磁盘使用情况显示不同的信息

Question

我通过hadoop fsck得到了以下细节/ 总大小：41514639144544 B（打开文件的总大小：581 B） 总目录：40524 文件总数：124348 符号链接总数：0（当前正在编写的文件：7） 总块数（已验证）：340802（平均块大小121814540 B）（总打开文件块（未验证）：7） 最小复制块：340802（100.0％）

我使用256MB块大小。 所以340802块* 256 MB = 83.2TB * 3（复制品）= 249.6 TB 但在cloudera管理器中它显示使用的110 TB磁盘。怎么可能？

Answer 1

您不能仅仅使用块大小和复制因子。可以在每个文件级别动态更改块大小和复制因子。

因此，在问题的第二部分中完成的计算不一定正确，尤其是fsck命令显示的块大小约为120MB。

在这种情况下，40 TB存储占用大约110 TB的存储空间。因此，对于所有文件，复制因子也不是3。您在Cloudera Manager中获得的是正确的价值。