我正在使用8节点hadoop集群,而namenode内存使用率则显示为7%。我觉得这个集群将达到namenode内存的最大限制。
当前群集存储大小为5.6TB,namenode堆大小为4GB。进一步的块大小为128MB。
计算Hadoop集群的最大数据节点数(使用单个名称节点)的方法是什么?
答案 0 :(得分:2)
Namenode内存使用量与块数成正比,指南也是1百万个块需要1 GB内存...而且我计算出的5.6 TB和128 MB块大小你可以拥有大约50万个块甚至没有复制(你可以重新计算)。所以,我的结论是你有足够的内存,除非有很多小文件......