如何在AWS ec虚拟机上使用hadoop 1.0配置高可用性

Question

我已经在非VM设置上使用心跳和虚拟IP机制配置了此设置。

我正在使用hadoop 1.0.3并使用共享目录进行Namenode元数据共享。问题是在亚马逊云上，没有像虚拟IP那样使用Linux-ha获得高可用性。

有没有人能够做到这一点。请让我知道所需的步骤？

Answer 1

目前我在hbase上使用Hbase复制WAL。 Hbase晚于0.92支持这一点。

对于云上的hadoop群集，我将等待2.0版本稳定。

使用以下

http://hbase.apache.org/apidocs/org/apache/hadoop/hbase/replication/package-summary.html#requirements

在客户端，我添加了逻辑以拥有2个主服务器，在网络中断的情况下可选择重新连接。

这件事适用于简单的2台机器相互补偿，不推荐用于更多的服务器。

希望它有所帮助。

Answer 2

嗯，Hadoop有两个部分可以让它高度可用。第一个也是更重要的当然是NameNode。您可以启动和配置辅助/检查点NameNode。这将有助于在主NameNode出现故障时保持HDFS正常运行。接下来是JobTracker，它运行所有作业。在我的（过期10个月）知识中，没有备份到您可以配置的JobTracker，因此您可以在发生故障时监视并启动具有正确配置的新备份。