朋友们,我开始知道在配置高可用性时,在hadoop2中,不需要配置secondary-name-node / checkpoint-node / backup-node。使用新的机制,可用性由活动和备用名称节点之间共享的编辑提供。
我的问题是,辅助名称节点功能是定期将编辑文件与fsimage文件合并,因此在hadoop1世界中提供了2个好处1)限制了编辑文件的大小,2)通过保持编辑文件来减少重启的时间fsimage几乎是最新的。
因此,如果启用了高可用性并且不需要secondary-name-node。那么谁将使用fsimage进行编辑?或者由于某些架构/流程的变化,现在不需要该步骤。
帮助我理解它。
答案 0 :(得分:1)
有两种部署HDFS HA的模式(N.B.这是目前的2.7.1状态,如果你在2016年之后的某些时候登陆这些帖子可能已经改变了):
共享NFS,其中Active和Standby NameNode实际上处理相同的文件(图像和日志)。请参阅HDFS HighAvailability using NFS。
Quorum Journal Manager,其中主动和被动NameNode都依赖于新服务,这是一组至少3个JournalNode,可为日志编辑提供法定人数。请参阅HDFS High Availability Using the Quorum Journal Manager。
对于这两种配置,文档明确地提出了问题的答案:
请注意,在HA群集中,备用NameNode还会执行命名空间状态的检查点,因此无需在HA群集中运行Secondary NameNode,CheckpointNode或BackupNode。事实上,这样做会是一个错误。这也允许重新配置启用HA的HDFS群集的人员启用HA,以重用他们之前专用于Secondary NameNode的硬件。