Hadoop中日志文件的含义

Question

我尝试用不同的应用程序分析Hadoop系统的工作特性，例如MapReduce，Hbase等。 有一些日志文件用于不同目的，例如namenode，datanode和jobtrack。日志文件采用特定格式。 有没有人知道日志文件中每个项目的确切含义？或者我可以在哪里找到相关的文档？

谢谢！

Answer 1

Hadoop使用log4j来处理日志。看起来你没有修改配置。我不知道你使用的是哪个版本。因此，假设您在此处使用配置：https://github.com/apache/hadoop-common/blob/ade66f948e2cf0d5bd46a212b58c8ca3c85aba39/hadoop-common-project/hadoop-common/src/main/conf/log4j.properties

输出到控制台的日志格式定义为

log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n

• ％d {yy / MM / dd HH：mm：ss}：日期及其格式。
• ％p：日志记录事件的优先级。例如，INFO，DEBUG，ERROR。
• ％c：日志记录事件的类别。在Hadoop中，它通常是类名。
• ％m：日志消息。
• ％n：平台相关的行分隔符或字符。

可在此处找到更多信息：http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/PatternLayout.html

输出示例是

14/05/19 06:50:42 INFO http.HttpServer: Jetty bound to port 42253