Question

我被要求将我们的log4j日志文件（暂时不使用Socket调用）合并到Logstash JSON文件中，然后我将其提供给Elasticsearch。我们的代码使用RollingFileAppender。这是一个示例日志条目。

2016-04-22 16:43:25,172 ERROR :SomeUser : 2 [com.mycompany.SomeClass]  AttributeSchema 'Customer |Customer |Individual|Individual|Quarter|Date' : 17.203 The Log Message.

这是我们log4j.properties文件中的ConversionPattern值

<param name="ConversionPattern" value="%d{ISO8601} %p %x %X{username}:%t [%c] %m %n" />

有人可以帮我写一个解析该行的Logstash Grok过滤器吗？到目前为止，我有以下内容

filter {
  if [type] == "log4j" {
    grok {
        match => ["message", "%{TIMESTAMP_ISO8601:logdate} %{LOGLEVEL:loglevel} %{GREEDYDATA:messsage}"]
    }
    date {
        match => ["logdate", "yyyy-MM-dd HH:mm:ss,SSS", "ISO8601"]
    }
  }
}

但当然它将优先级之后的所有内容都作为消息。我想进一步隔离以下字段（在Log4j Pattern Layout中定义）

用户（％X {用户名}）
Classpath（[％c]）
主题（％t）
嵌套诊断内容（％x）
讯息本身（％m）

Answer 1

我能够使以下过滤器工作。

filter {
    mutate {
      strip => "message"
    }
    grok {
      match => {
        "message" => "%{TIMESTAMP_ISO8601:logdate} %{LOGLEVEL:loglevel} :%{DATA:thread} : %{NUMBER:thread_pool} \[(?<classname>[^\]]+)\] %{SPACE} %{GREEDYDATA:msgbody}"
      }
    }
    date {
      match => ["logdate", "yyyy-MM-dd HH:mm:ss,SSS", "ISO8601"]
    }
}

但是，这特定于上述日志。

我有一个后续问题。我如何“填充”模式来管理每个模式中的“空间”。例如，ERROR日志级别占用5个空格，而INFO日志级别占用4个，那么如何管理它以使其适用于ERROR和INFO日志？

这个log4j日志的logstash grok过滤器应该是什么？

1 个答案: