Hadoop namenode磁盘大小

Question

在namenode物理机上有关于HDD大小的建议吗？当然，它不存储来自HDFS的任何数据，例如datanode，但在创建集群时我应该依赖什么？

Answer 1

除非在同一节点上运行Datanode，否则NameNode上的物理磁盘空间并不重要。但是，为NameNode分配良好的内存（RAM）空间非常重要。这是因为NameNode在内存中存储了HDFS的所有元数据（块分配，块位置等）。如果未分配足够的内存，NameNode可能会耗尽内存并失败。

Answer 2

您可能需要一些空间来实际存储NameNode的FSImage，编辑文件和其他相关文件。

实际上建议将NameNode配置为使用多个目录（一个本地和其他NFS安装），以便存储多个文件系统元数据副本。这样，只要目录位于不同的磁盘上，单个磁盘故障就不会破坏元数据。

有关详细信息，请参阅this link。

Answer 3

我们从Cloudera那里得知，他们建议名称节点具有更快的磁盘 - 通过典型的2TB，7200K SAS驱动器组合SSD和10kRPM SAS驱动器。这听起来是合理的还是过度的，因为我读过的其他内容都表明你并不需要为Hadoop提供昂贵的高速存储。