如何清理/ var / log / hadoop-hdfs下的hadoop-hdfs日志

Question

我的hadoop集群中的名称节点转为运行状况不佳，因为“该角色的日志目录不是一个空间小于4GB的文件系统./ var / log / hadoop-hdfs（免费：2.4GB（11.12％） ），容量：21.7 GB“

我查看了该文件夹，发现我有5.5GB的日志文件名为“hdfs-audit.log.0” - “hdfs-audit.log.20”。我读了这些文件，我真的不需要保存这些日志。我想知道有没有办法永久删除它们，永远不会再生成它们？ （我试图手动删除它们，但似乎它们在几个小时后又回来了。）

我还尝试在我的/etc/hadoop/conf/log4j.properties中添加“log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit = WARN，NullAppender”。但它并没有阻止这些文件“回归”。

提前感谢您的帮助！

Answer 1

首先，Hadoop的容量比你提到的容量大得多，这意味着5.5GB的日志通常并不常见。这解释了为什么默认设置不适合您的情况。

你可以：

• 减少使用变量navigator.audit_log_max_backup_index（通常为10）
保留的日志文件数
• 或navigator.audit_log_max_file_size
的最大日志文件大小