为什么Hadoop辅助Namenode每隔一小时进行一次备份？

Question

每个人都知道名称节点可以存储元数据，并且每一小时都会发生存储在日志文件中的所有内容。仅识别错误日志文件的关键因素。现在，默认情况下，辅助Namenode可以定期从Namenode备份元数据。命名空间图像，编辑日志文件＆＃39;将在过去一小时内备份（可配置）。

为什么Secondary Namenode花了一个小时为什么它不会每秒都进行备份？已经存储在日志文件中的每一小部分。为什么Hadoop会在每一秒钟内备份日志文件？如果配置那么任何劣势？请让我深入了解。

Answer 1

辅助名称节点（SNN）是减少NN负载的众多尝试中的第一次，并且在一定程度上提供了H.A. 从那时起，SNN就像Check Point Node，BackUp Node一样升级。

SNN：定期复制并合并FSImage和edits.log，以加快NN启动时间。

Check Point节点：复制并合并FSImage＆amp; edits.log。然后它将此更新版本发送到NN以替换旧的FSImage。

备份节点：但是，这会在运行时保持备份所有更改，而不会有任何延迟。为了实现这一点，所有流都与NN和BackUp节点共享，将它们合并并定期发送到NN以更新NN的FSImage文件。因此提供您要求的功能。

至于从NN复制每秒更新的缺点，它将在负载很重的集群中的网络流量上造成瓶颈。

通过以下链接阅读更多内容：https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Secondary_NameNode

Answer 2

• 辅助名称仅限名称节点的备份
• 如果namenode 失败，整个群集将失败
• 那时，我们可以将二级namenode作为namenode
启动
• 我们可以指定辅助名称节点的备份时间
• 基于交易次数和秒数可配置。参考Secondary Namenode

Answer 3

尽管可以根据大小或时间来配置检查点，但建议不要将检查点配置得太频繁或太小。当检查点活动在群集中执行网络活动（通过HTTP传输fsImage和editLogs）时。它还在辅助NN上消耗CPU 。

因此，应将检查点配置为考虑群集活动（fsImage中的更改）以达到最佳状态。