纱线日志-stdout和stderr成为巨大的文件-如何避免这种情况

时间:2019-02-13 09:23:39

标签: log4j yarn ambari

亲爱的朋友和大学

我们有具有hadoop版本的ambari集群-2.6.4 集群包括52个datanode计算机,而以下问题发生在9个datanode计算机上

所以我将解释问题:

我们注意到有关纱线日志的关键问题

我们看到 stderr stdout 是巨大的文件 在我们的情况下,sdb是相关磁盘,并且sdb大小仅20G 因此,实际上stderr和stdout每个文件 7G

所以/ grid / sdb变满了

我的问题是–是否可以限制此文件?

[root@datanode04 container_e41_1549894743658_0020_02_000002]# df -h /grid/sdb
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdb         20G   20G  712K 100% /grid/sdb
[root@datanode04 container_e41_1549894743658_0020_02_000002]# pwd
/grid/sdb/hadoop/yarn/log/application_1549894743658_0020/container_e41_1549894743658_0020_02_000002
[root@datanode04 container_e41_1549894743658_0020_02_000002]# du -sh *
6.9G    stderr
6.9G    stdout

1 个答案:

答案 0 :(得分:0)

这是在Hadoop集群中由于日志积累而在日志集群中获取大日志文件的常见情况,因为Hadoop集群中正在运行多个服务。如果您正在使用Ambari托管hadoop集群运行,则需要从Ambari配置log4j.properties。您可以为在hadoop集群中运行的服务配置此功能。这将确保日志轮换并保留在您的hadoop集群中。

这是Hortonwork(HDP)的参考链接,在其中可以找到有关配置log4j properties的hadoop集群中运行的不同服务的信息。希望这会有所帮助。