Secondary NameNode和Checkpoint Node之间有什么区别?

时间:2015-07-28 13:53:53

标签: hadoop filesystems hdfs bigdata

http://loopj.com/android-async-http/的文档几乎完全相同,所以我发现很难看出它们之间的区别。基于此both,唯一的区别是

  

[...]检查点节点可以在检查点创建后将fsimage文件的新副本上传回namenode,而辅助名称节点无法上传[...]

它看起来不正确,因为Secondary NameNode 可以根据Q&Athis上传新的 FsImage

可以将Checkpoint节点视为Secondary NameNode的一对一替换吗?有哪些额外的好处?代码是在两者之间清理还是那样?

3 个答案:

答案 0 :(得分:1)

在你提到的cloudera帖子中,在HighAvailability和NonHighAvailability场景中都清楚地提到了检查点过程。辅助名称节点执行在非HA方案中检查点名称节点的任务。在HA的其他场景中,我们可以使用备用namenode进行检查点。总之,检查点更多是一个概念,并且根据场景(HA / nonHA),不同的节点执行该操作。

您可以再次阅读该博客。如果需要更正,请告诉我。快乐学习

答案 1 :(得分:0)

SNN和检查点NN之间的区别在于SNN将数据本地存储在文件系统中,但它不会将合并的fsimage(带编辑日志)上传到Checkpoint NN所执行的Active NN。

答案 2 :(得分:0)

即使Apache文档page也未正确涵盖差异。从文档页面看,它似乎都是Secondary Name节点和&的角色。 Checkpoint Node看起来很相似。

另一方面,我提出了一个错误来纠正文档页面以避免混淆:https://issues.apache.org/jira/browse/HDFS-8913

我希望很快就能解决这个问题。

关于你的第二个问题:

  

可以将Checkpoint节点视为Secondary NameNode的一对一替换吗?有哪些额外的好处?代码是在两者之间清理过的吗?

Hadoop 2.x版本发生了很多变化,“名称”节点不是单点故障。

借助“备用名称”节点,

高可用性 的活动名称节点是Hadoop 2.x中的关键功能。

您只需要Active Name节点和Stand by Name节点即可实现高可用性

Hadoop 2.x高可用性已在其他SE问题中得到明确解释:

Hadoop namenode : Single point of failure

How does Hadoop Namenode failover process works?