Hadoop集群中的最大数据节点数是多少?

时间:2014-12-07 04:50:46

标签: hadoop hortonworks-data-platform

我正在使用8节点hadoop集群,而namenode内存使用率则显示为7%。我觉得这个集群将达到namenode内存的最大限制。

当前群集存储大小为5.6TB,namenode堆大小为4GB。进一步的块大小为128MB。

计算Hadoop集群的最大数据节点数(使用单个名称节点)的方法是什么?

1 个答案:

答案 0 :(得分:2)

Namenode内存使用量与块数成正比,指南也是1百万个块需要1 GB内存...而且我计算出的5.6 TB和128 MB块大小你可以拥有大约50万个块甚至没有复制(你可以重新计算)。所以,我的结论是你有足够的内存,除非有很多小文件......