hadoop tasktracker：为什么在用户日志中错过了日志？

Question

我正在使用hadoop1.2.1。我需要/ hadoop-installation-directory / logs / userlogs / job- / attempt - / stdout中的stdout文件。但是当我重新启动datanode时，我的作业日志不在用户日志中。无论如何要访问它们？ 感谢

Answer 1

清除日志文件的原因有多种：

• 默认情况下，它每24小时清除一次，由mapreduce.job.userlog.retain.hours＆＃39;属性（Gen 2的Gen 2，mapred.userlog.retain.hours）

• 按照默认log4j.properties

  中的定义每隔12小时清除一次

  hadoop.tasklog.taskid=null
  hadoop.tasklog.noKeepSplits=4
  hadoop.tasklog.totalLogFileSize=100
  hadoop.tasklog.purgeLogSplits=true
  hadoop.tasklog.logsRetainHours=12
                                 ^^
  

因此，如果你有这样的配置，那么它只会保留12小时的日志。