将非HA Hadoop集群转换为HA集群

Question

我有一个包含3个节点的非HA Hadoop设置：一个NameNode和两个DataNode。 NameNode是一个4GB内存和20GB硬盘的服务器，而每个DataNode有8GB内存和100GB硬盘。

现在我需要将其转换为HA群集。我已经阅读了两种方法：使用Quorum Journal Manager和使用共享存储。

从上面两个方法做到这一点的最佳方式是什么？ 每种方法我需要多少个额外的节点？ 如何最大限度地减少使用现有节点添加新节点的需求（建议将DataNodes和NameNodes用作JournalNodes）？

我正在使用Apache Hadoop版本：2.7.2和Apache Hbase版本：1.2.4

Answer 1

  

从上面这两个方面做到这一点的最佳方式是什么？

除非您具有高度可靠且容错的共享存储，否则建议选择QJM（Quorum Journal Manager）。

  

每种方法需要多少个额外节点？

备用Namenode的

一个。您可以运行JournalNodes和Zookeeper节点以及Datanodes。