辅助名称节点功能

时间:2015-07-18 01:19:56

标签: hadoop hdfs

有人可以解释一下粗体中的单词究竟是从教科书中取出的吗? “次要名称节点的状态滞后于主要名称”是什么意思?

辅助名称节点保留合并命名空间映像的副本,可以在namenode失败时使用该副本。 **但是,国家 辅助名称节点的位置落后于主节点,因此在主节点完全失败的情况下,几乎可以确定数据丢失。**在这种情况下,通常的操作方法是将NFS上的namenode元数据文件复制到辅助并将其作为新的主要运行。

提前致谢

1 个答案:

答案 0 :(得分:2)

Hadoop 1.x:

当我们开始ha hadoop集群时,它创建了一个文件系统映像,它保存了整个hadopp集群的元数据信息。当一个新条目进入hadoop集群时,它会进入编辑日志。 Secondary NameNode定期读取和查询编辑并检索信息并将信息与fsimage合并。如果NameNode失败,hadoop管理员可以在fsimage和edits的帮助下启动hadoop集群。(在启动时,NameNode读取编辑和fsimage,因此不会丢失数据)

Fsimage和edits log已经以元数据的形式保存了有关文件系统的更新信息,因此在主要hadoop管理员完全失败的情况下,可以借助编辑日志和fsimage恢复群集信息。

Hadoop 2.x:

在hadoop 1.x中NameNode是单点故障。 NameNode失败是整个hadoop集群的停机时间。计划维护事件(如NameNode计算机上的软件或硬件升级)将导致群集停机时间。为克服此问题,hadoop社区添加了高可用性功能。在设置hadoop群集期间,您可以选择所需的群集类型。

HDFS NameNode高可用性功能使您可以在具有热备用的主动/被动配置中的同一群集中运行冗余NameNode。NameNode需要相同类型的硬件配置。

在HA配置中,一个NameNode将处于活动状态,其他NameNode将处于待机状态.ZKFailoverController(ZKFC)是一个ZooKeeper客户端,用于监视和管理NameNode的状态。当活动的NameNode关闭时,它将备用作为活动的NameNode,并且主NameNode在启动时将变为备用状态。请在此网站上获取更多信息:http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.8.0/bk_system-admin-guide/content/ch_hadoop-ha-5.html

在HA hadoop集群中,Active NameNode在JournalNode(仅限基于Quorum的存储)中读取和写入元数据信息。 JournalNode是HA hadoop集群中的一个单独节点,用于读取和写入编辑日志和fsimage。

备用NameNodealways与活动NameNode同步,通过Journal Node进行相互通信。当Active节点执行任何名称空间修改时,它会将修改记录持久地记录到大多数这些JN中。待机NameNode持续监视日志节点上的编辑日志并相应地更新其命名空间。如果发生故障转移,备用NameNode将确保在更改为活动状态之前根据编辑日志完全更新其命名空间。当备用数据库处于活动状态时,它将开始将编辑日志写入JournalNode。

Hadoop不会将任何数据保存到NameNode中,所有数据都驻留在datanode中,如果NameNode失败,则不会丢失任何数据。