应该namenode内存使用情况计数复制或未复制的块

时间:2014-11-03 09:07:45

标签: hadoop

许多来源描述了如何计算Hadoop Namenode所需的内存量。 经常引用两个经验法则,(1)每个对象大约150个字节或(2)每个Gb RAM大约一百万个对象。无视这两个数字之间明显的差异(即1 Gb / 150b~700万,而非100万),我的问题是关于第一个建议。 是否应该计算块的数量,包括它们的复制?

换句话说,运行hadoop fsck -blocks /给了我670000块。 我应该将所需的RAM计算为150 * 670000或150 * 670000 * 3(我们的默认复制因子为3)。

/托马斯

0 个答案:

没有答案