如何确定Hadoop集群上NameNode维护的元数据大小？

Question

我在hadoop集群上放了100个文件。我想确定与这些文件对应的NameNode维护的元数据大小。

Answer 1

我相信你所说的元数据是关于存储在datanode中的数据块的信息。所有这些细节都将保存在namenode内存RAM中。

Namenode消耗大约150个字节用于块元数据存储，150个字节用于文件元数据存储。因此，我们假设您的群集块大小为128Mb，并且您的100个文件中的每个大小约为100Mb。然后每个文件在namenode中消耗300字节的内存。名称节点将消耗300 * 100 = 30000字节的数据。这是考虑复制是1x。

详细讨论here。