Question

以下是从Java应用程序收到的示例日志

2019-04-11 9:08:22:562 Log 1 
2019-04-11 9:08:22:660 Log 2 
2019-04-11 9:08:43:79 Log 3 
2019-04-11 9:08:43:156 Log 4

在上面的日志中，我遇到Log 3的问题，其中毫秒值仅为79，但是在Logstash中解析后，该值设置为790 ms（Logstash解析是正确的，但是java日志值为是错的）。实际上，该值在日志中应该为2019-04-11 9:08:43:079，以进行正确的解析。

Logstash过滤器如下：

date {
    match => [ "log_time", "yyyy-MM-dd HH:mm:ss:SSS", "ISO8601" ]
    target => "log_time"
    timezone => "CET"
}

在深入研究时，我发现问题在于这种时间格式的Java日志记录，如果格式为yyyy-MM-dd HH:mm:ss.SSS，它将得到解决。但是日志记录应用程序使用格式 yyyy-MM-dd HH:mm:ss:SSS 导致此问题（请注意格式:SSS和.SSS的不同）。

我无法更改日志记录Java系统，因此Logstash过滤器是否有任何解决方法来解决此问题。

Answer 1

通过使用以下gsub在只有2位数字的毫秒中插入0前缀来解决此问题：

mutate { gsub => [ "log_time", "^([0-9-]+ [0-9]+:[0-9]{2}:[0-9]{2}:)([0-9])$", "\100\2",
"log_time", "^([0-9-]+ [0-9]+:[0-9]{2}:[0-9]{2}:)([0-9]{2})$", "\10\2" ] }

从elastic discuss group获得帮助

具有自定义Java时间戳格式的日志的ELK Logstash中的日期解析问题

1 个答案: