Hadoop Namenode HA和HDFS联合有什么区别

时间:2017-06-09 10:30:22

标签: hadoop high-availability federation quorum

我对使用QJM和HDFS联盟的Hadoop Namenode HA感到困惑。两者都使用多个namenode,两者都提供高可用性。我无法确定用于Namenode高可用性的架构,因为除了QJM外,两者看起来完全相同。

请原谅我,如果这不是这里要讨论的问题类型。

1 个答案:

答案 0 :(得分:1)

HDFS高可用性和HDFS联盟之间的主要区别在于联盟中的名称节点彼此之间并不相关。

在HDFS联合中,所有名称节点共享一个元数据池,其中每个名称节点都有自己的池,因此提供了容错功能,即如果联合中的一个名称节点发生故障,它不会影响数据其他名字节点。

因此,Federation =多个名称节点,没有相关性。

在HDFS HA的情况下,有两个名称节点 - 主NN和备用NN。 主要NN一直在努力工作,每次Standby NN只是坐在那里,并且偶尔冷却并更新它关于主要名称节点的元数据,这使得它们相关。 当主要NN厌倦了这个通常的表(即它失败)时,备用NameNode接管它拥有的最新元数据。

对于HA架构,您需要至少有两台配置为Namenode的sepearte计算机,其中只有一台应该在Active State中运行。

此处有更多详情:HDFS High Availability