如何清理/ var / log / hadoop-hdfs下的hadoop-hdfs日志

时间:2013-08-12 16:50:17

标签: logging hadoop log4j hdfs

我的hadoop集群中的名称节点转为运行状况不佳,因为“该角色的日志目录不是一个空间小于4GB的文件系统./ var / log / hadoop-hdfs(免费:2.4GB(11.12%) ),容量:21.7 GB“

我查看了该文件夹,发现我有5.5GB的日志文件名为“hdfs-audit.log.0” - “hdfs-audit.log.20”。我读了这些文件,我真的不需要保存这些日志。我想知道有没有办法永久删除它们,永远不会再生成它们? (我试图手动删除它们,但似乎它们在几个小时后又回来了。)

我还尝试在我的/etc/hadoop/conf/log4j.properties中添加“log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit = WARN,NullAppender”。但它并没有阻止这些文件“回归”。

提前感谢您的帮助!

1 个答案:

答案 0 :(得分:4)

首先,Hadoop的容量比你提到的容量大得多,这意味着5.5GB的日志通常并不常见。这解释了为什么默认设置不适合您的情况。

你可以:

  • 减少使用变量navigator.audit_log_max_backup_index(通常为10)
  • 保留的日志文件数
  • navigator.audit_log_max_file_size
  • 的最大日志文件大小