我正在Hortonworks,cloudera学习hadoop 2.x技术,我注意到hadoop 2.x架构中没有 secondary namenode ;它被备用名称节点取代。
辅助节点是否已弃用?根据我的理解,备用名称节点功能与次要名称节点功能不同。
我可以在没有辅助名称节点和备用名称节点的情况下构建 Hadoop 而不会降低性能吗?
答案 0 :(得分:3)
据我所知,secondary和standby都有不同的功能。在HA群集的情况下使用standby namenode
您的问题
1.不推荐使用辅助节点,但是如果要设置HA群集,则可能不需要使用辅助名称节点,因为备用名称节点使其状态与活动名称节点保持同步
2.您可以在没有辅助节点或备用节点的情况下进行hadoop设置而不会造成任何性能损失,但是在名称节点失败的情况下,所有数据都将丢失,因为namenode将其所有元数据存储在内存中
答案 1 :(得分:3)
辅助名称节点和备用名称节点是不同的东西。
旧的'中学' namenode主要是misnomer。它所做的就是不时检查fsimage,以便在发生崩溃时更快地恢复真实名称节点。绝不提供任何备用/高可用性功能。你应该不使用它。
新的备用名称节点是真正的备用,高可用性功能。请在HDFS High Availability了解详情:
在Hadoop 2.0.0之前,NameNode是HDFS集群中的单点故障(SPOF)。每个群集都有一个NameNode,如果该机器或进程变得不可用,整个群集将无法使用,直到NameNode重新启动或在单独的计算机上启动。
这在两个主要方面影响了HDFS集群的总体可用性:
如果是计划外事件(例如计算机崩溃),则在操作员重新启动NameNode之前,群集将不可用。 计划维护事件(如NameNode计算机上的软件或硬件升级)将导致群集停机时间窗口。 HDFS高可用性功能通过提供在具有热备用的主动/被动配置中的同一群集中运行两个冗余NameNode的选项来解决上述问题。这允许在机器崩溃的情况下快速故障转移到新的NameNode,或者为了计划维护而进行正常的管理员启动的故障转移。
您应该使用/配置备用名称节点。
在当前版本(编写时为2.6),您有两种HA模式:
有关Hortonworks发行版特定文档,请参阅NameNode High Availability for Hadoop。