Question

我试图为我的log4js日志创建一个grok logstash过滤器。

我的nodejs app中的代码如下：

var httpLogFormat = ':remote-addr - - [:date] ":method :url ' + 'HTTP/:http-version" :status :res[content-length] ' + '":referrer" ":user-agent" :response-time';
log4js.loadAppender('file');
log4js.addAppender(log4js.appenders.file('logs/access.log'), 'access');
var logger = log4js.getLogger('access');
app.use(log4js.connectLogger(logger, { level: 'auto', format: httpLogFormat }));

这会产生以下日志消息：

 [2017-01-31 08:54:32.491] [WARN] access - 192.1.1.10 - - [Tue, 31 Jan 2017 07:54:32 GMT] "GET /api/test HTTP/1.0" 304 undefined "https://localhost.com/test" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.75 Safari/537.36" 111

我当前的grok过滤器看起来像这样（更新）：

grok {
     match => { "message" => "\[%{HTTPDATE:timestamp}\] \[%{WORD:loglevel}\] %{WORD:logtype} - %{IPORHOST:clientip} %{USER:ident} %{USER:auth} \"%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})\" %{NUMBER:response} - \"%{DATA:rawrequest}\" \"%{QS:agent}\""}
   }

有一些解析错误，我怀疑这是由于[]，但我不确定。

http://grokconstructor.appspot.com/失败了：

不匹配。与此行开头匹配的最长正则表达式前缀如下：前缀＆＃34; 赛前：[2017-01-31 08:54:32.491] [警告]访问 - 192.1.1.10 - - [星期二，2017年1月31日07:54:32 GMT] 匹配后：GET / api / test HTTP / 1.0＆＃34; 304 undefined＆＃34; https://test.localhost.com/test＆＃34; ＆＃34; Mozilla / 5.0（Windows NT 6.1; WOW64）AppleWebKit / 537.36（KHTML，如Gecko）Chrome / 55.0.2883.75 Safari / 537.36＆＃34; 111

Answer 1

我已经更新了grok以适合您的示例。我认为你误用了一些类型（QS，例如你不需要有＃34;＆＃39;围绕它）：

\[%{GREEDYDATA:timestamp}\]\ \[%{WORD:loglevel}\]\ %{WORD:logtype}\ -\ %{IPORHOST:clientip}\ %{USER:ident}\ %{USER:auth}\ \[%{GREEDYDATA}\]\ \"%{WORD:verb}\ %{NOTSPACE:request}(?: HTTP\/%{NUMBER:httpversion}|)\"\ %{NUMBER:response}\ %{WORD}\ \"%{DATA:rawrequest}\"\ %{QS:agent}\ %{INT:time_taken}

查看docs以了解您可以使用的其他字词。

你的解析问题可能归结为[和]字符的字面使用，因为它们在正则表达式中使用，它们需要像我的例子一样进行转义。

用于log4js的Grok过滤器

1 个答案: