Logstash过滤非结构化日志

时间:2016-02-09 12:22:14

标签: logstash logstash-grok

我对Logstash很新,并尽力抓住它。我的问题如下: 我有一个Log,其结构如下:

时间 - 数据 - 消息

每10到15个日志托管链接到一个具有ID的作业,但只有作业的第一个条目标有ID。

我现在想尝试在后面的每个条目中添加一个字段,以便识别与特定ID相关的所有委托。

  

这是一个例子

     

29.09.15 16:17:00:191 - 文本文本ID:00000001文本文本

     

29.09.15 16:17:00:206 - 文本文本

     

29.09.15 16:17:00:253 - 文本文本

     

...

     

29.09.15 16:17:26:539 - 文本文本ID:00000002文本文本

     

29.09.15 16:17:30:233 - 文本文本

我有点失落。我当前的方法是grok过滤以识别ID,但我无法忘记如何记住ID并在我阅读时将其添加到以下的内容...

1 个答案:

答案 0 :(得分:0)

我太迟了,但是如果没有错,你应该使用Logstash的多行过滤插件。

在那里,您可以使用ID标记日志,作为事件的开始。因此,每当logstash找到带有ID的行时,它将获取以下所有行并将其存储为一个完整事件,直到它再次找到另一个带有ID的日志行。

请阅读以下文档:

https://www.elastic.co/guide/en/logstash/current/plugins-filters-multiline.html