hadoop日志没有完整的信息

时间:2017-08-26 14:41:34

标签: hadoop hdfs

我正在使用hadoop apache 2.7.1集群,它由4个数据节点和两个名称节点组成,因为它是高可用的

部署在centos 7上 它于01-08-2017开始工作

我们知道将为每项服务生成日志

让我们以当前日志为例

hadoop-root-datanode-dn1.log 
hadoop-root-datanode-dn2.log 

其中hadoop_root是用户登录

的用户

我的问题是:
在dn1日志中我可以找到从01-08-2017到今天的信息 但是在dn2中,日志并没有完整的信息,因为它每天都被清空,所以它只有与今天有关的信息

是否有任何属性可以控制此行为,或者它是centos问题 有什么帮助吗?

1 个答案:

答案 0 :(得分:1)

  

默认情况下,.log文件每天由log4j轮换。这可以使用/etc/hadoop/conf/log4j.properties进行配置。

https://blog.cloudera.com/blog/2009/09/apache-hadoop-log-files-where-to-find-them-in-cdh-and-what-info-they-contain/

不建议您运行Cloudera群集,但如果您这样做,则不会删除这些文件。他们重新滚动并重命名

哦,我建议不要以root身份运行你的守护进程。大多数hadoop安装指南明确要求您创建hdfs或hadoop用户