Grok模式将URIPATH与可选URIPARAM匹配

Question

我想用Grok模式过滤掉这个

172.20.20.88 - - [10/Nov/2018:23:49:31 +0700] "GET /id/profile.pl?user=285&device=Bg3tlX HTTP/1.1" 502 852 "-" "Go-http-client/2.0" "0.009"

我正在使用COMMONAPACHELOG

%{IPORHOST:clientip} %{HTTPDUSER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-)

我尝试了%{URIPATH:request}和%{URIPARAM:request}。请求的结果仍然是/id/profile.pl?user=285&device=Bg3tlX。我的期望是/id/profile.pl。

我的参考是https://github.com/hpcugent/logstash-patterns/blob/master/files/grok-patterns

Answer 1

您的%{NOTSPACE:request}与HTTP/1.1" 502 85...之前的任何1个或多个非空白字符匹配，因为NOTSPACE模式为\S+。因此，它匹配整个/id/profile.pl?user=285&device=Bg3tlX子字符串。

您不能仅使用URIPATH或URIPARAM，因为您仍然需要匹配其余输入。您必须同时使用两者，但是将URIPARAM之后的URIPATH可选，将其包含在可选的非捕获组(?:...)?中。

因此，将%{NOTSPACE:request}替换为

%{URIPATH:request}(?:%{URIPARAM:requestparam})?
                  ^^^                        ^^

演示在https://grokdebug.herokuapp.com/：