亲爱的朋友和大学
我们有具有hadoop版本的ambari集群-2.6.4 集群包括52个datanode计算机,而以下问题发生在9个datanode计算机上
所以我将解释问题:
我们注意到有关纱线日志的关键问题
我们看到 stderr 和 stdout 是巨大的文件 在我们的情况下,sdb是相关磁盘,并且sdb大小仅20G 因此,实际上stderr和stdout每个文件 7G
所以/ grid / sdb变满了
我的问题是–是否可以限制此文件?
[root@datanode04 container_e41_1549894743658_0020_02_000002]# df -h /grid/sdb
Filesystem Size Used Avail Use% Mounted on
/dev/sdb 20G 20G 712K 100% /grid/sdb
[root@datanode04 container_e41_1549894743658_0020_02_000002]# pwd
/grid/sdb/hadoop/yarn/log/application_1549894743658_0020/container_e41_1549894743658_0020_02_000002
[root@datanode04 container_e41_1549894743658_0020_02_000002]# du -sh *
6.9G stderr
6.9G stdout
答案 0 :(得分:0)
这是在Hadoop集群中由于日志积累而在日志集群中获取大日志文件的常见情况,因为Hadoop集群中正在运行多个服务。如果您正在使用Ambari托管hadoop集群运行,则需要从Ambari配置log4j.properties。您可以为在hadoop集群中运行的服务配置此功能。这将确保日志轮换并保留在您的hadoop集群中。
这是Hortonwork(HDP)的参考链接,在其中可以找到有关配置log4j properties的hadoop集群中运行的不同服务的信息。希望这会有所帮助。