Question

（这与我的其他问题logstash grok filter for custom logs）

有关

我有一个日志文件，其行看起来像：

14:46:16.603 [http-nio-8080-exec-4] INFO  METERING - msg=93e6dd5e-c009-46b3-b9eb-f753ee3b889a CREATE_JOB job=a820018e-7ad7-481a-97b0-bd705c3280ad data=71b1652e-16c8-4b33-9a57-f5fcb3d5de92
14:46:17.378 [http-nio-8080-exec-3] INFO  METERING - msg=c1ddb068-e6a2-450a-9f8b-7cbc1dbc222a SET_STATUS job=a820018e-7ad7-481a-97b0-bd705c3280ad status=ACTIVE final=false

我构建了与第一行匹配的模式：

%{TIME:timestamp} %{NOTSPACE:http} %{WORD:loglevel}%{SPACE}%{WORD:logtype} - msg=%{NOTSPACE:msg}%{SPACE}%{WORD:action}%{SPACE}job=%{NOTSPACE:job}%{SPACE}data=%{NOTSPACE:data}

但很明显，这仅适用于最后data=的行，而第二行末尾的status=和final=或其他属性值对其他线路？如何设置一个模式，表示在某一点之后会有一对foo=bar对我想要识别并输出为输出中的属性/值对？

Answer 1

您可以像这样更改您的grok模式，以便在一个字段（kvpairs）中包含所有键值对：

%{TIME:timestamp} %{NOTSPACE:http} %{WORD:loglevel}%{SPACE}%{WORD:logtype} - %{GREEDYDATA:kvpairs}

之后，您可以使用kv filter来解析键值对。

kv {
    source => "kvpairs"
    remove_field => [ "kvpairs" ] # Delete the field afterwards
}

不幸的是，你的kv对中有一些简单的值（例如CREATE_JOB）。您可以使用grok解析它们，并使用一个kv过滤器作为之前的值，并使用另一个kv过滤器来获取这些简单值之后的值。

logstash grok过滤器，用于具有任意属性 - 值对的日志

1 个答案: