我对名称节点High Availability有疑问。名称节点非常重要,因为它存储了所有元数据,如果它已关闭,整个Hadoop集群也将关闭。那么有没有什么好的方法来接近名称节点High Availability,例如,当主名称节点失败时,可以接管备份名称节点? (现在我使用Hadoop 1.1.2)
答案 0 :(得分:0)
对于ASF Hadoop 1.1.2,没有可靠的NameNode HA选项。这些版本是2.0版本发布的,并且包含在像Cloudera的CDH4这样的流行版本中。
NameNode HA的选项包括运行主NameNode和热备用NameNode。它们共享编辑日志,可以是NFS挂载,也可以是HDFS本身的仲裁日志模式。前者为您提供了存储HDFS元数据的外部源的好处,而后者为您提供了在Hadoop之外没有依赖关系的好处。
就个人而言,我喜欢NFS选项,因为您可以轻松快照/备份驻留在文件服务器上的数据。这种方法的缺点是在延迟方面可能存在不一致的性能。
有关详细信息,请查看以下文章: