使用自定义时间戳值更新logstash中的@timetamp字段

时间:2015-03-03 18:00:57

标签: elasticsearch logstash grok logstash-grok logstash-forwarder

我有以下logstash配置文件,用于解析异常堆栈跟踪。

栈跟踪

2015-03-02 09:01:51,040 [com.test.MyClass] ERROR - execution resulted in Exception
com.test.core.MyException
    <exception line1>
    <exception line2>
2015-03-02 09:01:51,040 [com.test.MyClass] ERROR - Encountered Exception, terminating execution

配置文件:

input {
stdin {}
}

filter {
  multiline {
      pattern => "(^%{TIMESTAMP_ISO8601}) | (^.+Exception+) | (^.+Error+)"
      negate => true
      what => "previous"
    }
}

output {
stdout { codec => rubydebug }
}

我能够将堆栈跟踪解析为单个logstash字段名称消息。但是我想用第一个例外行的时间戳更新 @timestamp ,即 2015-03-02 09:01:51,040

目前,它一直采用 @timestamp

的默认时间戳

任何帮助都会受到赞赏。

1 个答案:

答案 0 :(得分:3)

您需要使用GROK过滤器来提取时间值,然后使用DATE过滤器将值解析为 @timestamp

例如:

input {
        stdin {
                codec => multiline {
                        pattern => "(^%{TIMESTAMP_ISO8601}) | (^.+Exception+) | (^.+Error+)"
                        negate => true
                        what => "previous"
                }
        }
}

filter {

        grok {
                match => ["message" , "%{TIMESTAMP_ISO8601:logtime} %{GREEDYDATA:msg}"]
        }

        date {
                match => ["logtime", "YYYY-MM-dd HH:mm:ss,SSS"]
        }
}

output {
    stdout { codec => rubydebug }
}

此外,在输入中使用多行而不是在过滤器中,过滤器中的多行将消息折叠为消息数组,而不是单个消息字符串。因此,它将导致grok和日期过滤器失败。