Secondary NameNode和Checkpoint Node之间的区别

时间:2016-01-25 10:21:38

标签: hadoop2 checkpoint

  

Checkpoint节点定期从NameNode获取fsimage和编辑并合并它们。结果状态称为检查点。之后将结果上传到NameNode。

Hadoop 2.x版本中是否使用了检查点名称节点?如果是,是否还需要Secondary Name节点?

当Hadoop版本2中有多个Name节点时,检查点名称节点如何工作?

有人能澄清这些令人困惑的概念吗?

1 个答案:

答案 0 :(得分:1)

有关每个节点职责的详细信息,请查看此SE问题:

Hadoop 2.0 Name Node, Secondary Node and Checkpoint node for High Availability

您不必在Hadoop 2.0中配置辅助名称节点和检查点节点

相反,根据文档page

,您需要Active Name节点和Standby Name节点以实现高可用性

在典型的HA群集中,两台独立的计算机配置为NameNode。 在任何时间点,其中一个NameNode处于活动状态,另一个处于待机状态

Active NameNode负责集群中的所有客户端操作,而Standby只是充当从属服务器,维持足够的状态以在必要时提供快速故障转移

为了让备用节点保持其状态与Active节点同步,两个节点都与一组名为“ JournalNodes ”(JN)的单独守护进程通信。

当Active节点执行任何名称空间修改时,它会将修改记录持久地记录到大多数这些JN中。待机节点能够从JN读取编辑,并且不断观察它们对编辑日志的更改。

当备用节点看到编辑时,它会将它们应用到自己的命名空间。如果发生故障转移,备用数据库将确保在将自身升级为活动状态之前已读取JounalNodes的所有编辑内容。这可确保在发生故障转移之前完全同步命名空间状态。

为了提供快速故障转移,备用节点还必须具有有关群集中块的位置的最新信息。为了实现这一点,DataNode配置了两个NameNode的位置,并向两者发送块位置信息和心跳。

有关详细信息,请参阅相关的SE问题:

How does Hadoop Namenode failover process works?