我的hadoop集群中的名称节点转为运行状况不佳,因为“该角色的日志目录不是一个空间小于4GB的文件系统./ var / log / hadoop-hdfs(免费:2.4GB(11.12%) ),容量:21.7 GB“
我查看了该文件夹,发现我有5.5GB的日志文件名为“hdfs-audit.log.0” - “hdfs-audit.log.20”。我读了这些文件,我真的不需要保存这些日志。我想知道有没有办法永久删除它们,永远不会再生成它们? (我试图手动删除它们,但似乎它们在几个小时后又回来了。)
我还尝试在我的/etc/hadoop/conf/log4j.properties中添加“log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit = WARN,NullAppender”。但它并没有阻止这些文件“回归”。
提前感谢您的帮助!
答案 0 :(得分:4)
首先,Hadoop的容量比你提到的容量大得多,这意味着5.5GB的日志通常并不常见。这解释了为什么默认设置不适合您的情况。
你可以:
navigator.audit_log_max_backup_index
(通常为10)navigator.audit_log_max_file_size