Checkpoint节点定期从NameNode获取fsimage和编辑并合并它们。结果状态称为检查点。之后将结果上传到NameNode。
Hadoop 2.x版本中是否使用了检查点名称节点?如果是,是否还需要Secondary Name节点?
当Hadoop版本2中有多个Name节点时,检查点名称节点如何工作?
有人能澄清这些令人困惑的概念吗?
答案 0 :(得分:1)
有关每个节点职责的详细信息,请查看此SE问题:
Hadoop 2.0 Name Node, Secondary Node and Checkpoint node for High Availability
您不必在Hadoop 2.0中配置辅助名称节点和检查点节点
相反,根据文档page
,您需要Active Name节点和Standby Name节点以实现高可用性在典型的HA群集中,两台独立的计算机配置为NameNode。 在任何时间点,其中一个NameNode处于活动状态,另一个处于待机状态。
Active NameNode负责集群中的所有客户端操作,而Standby只是充当从属服务器,维持足够的状态以在必要时提供快速故障转移。
为了让备用节点保持其状态与Active节点同步,两个节点都与一组名为“ JournalNodes ”(JN)的单独守护进程通信。
当Active节点执行任何名称空间修改时,它会将修改记录持久地记录到大多数这些JN中。待机节点能够从JN读取编辑,并且不断观察它们对编辑日志的更改。
当备用节点看到编辑时,它会将它们应用到自己的命名空间。如果发生故障转移,备用数据库将确保在将自身升级为活动状态之前已读取JounalNodes的所有编辑内容。这可确保在发生故障转移之前完全同步命名空间状态。
为了提供快速故障转移,备用节点还必须具有有关群集中块的位置的最新信息。为了实现这一点,DataNode配置了两个NameNode的位置,并向两者发送块位置信息和心跳。
有关详细信息,请参阅相关的SE问题: