如何合并hdfs编辑日志文件？

Question

我在NameNode中有20005编辑日志文件对我来说是一个很大的数字，有没有办法将它们合并到fsimage？我重新启动了NameNode，它没有帮助。

Answer 1

如果没有为NN启用HA，则需要具有执行此操作的Secondary NameNode。

如果你启用了HA，那么你的Standby NN会这样做。

如果您有这些，请检查他们的日志，看看会发生什么以及失败的原因。您可能没有足够的RAM，并且需要增加这些角色的堆大小，但应在使用日志之前进行验证。 如果你没有NN旁边的那个，那么解决这个问题就会自动发生影响检查点时间的相关配置：

dfs.namenode.checkpoint.period (default: 3600s)
dfs.namenode.checkpoint.txns (default: 1 million txn)

您也可以运行以下命令，但这是一个临时修复：

hdfs dfsadmin -safemode enter
hdfs dfsadmin -rollEdits
hdfs dfsadmin -saveNamespace
hdfs dfsadmin -safemode leave

注意：进入safemode后，HDFS只读取，直到你离开safemode。