Question

关注日志：

Jul 25 07:45:12 tst-proxy202 haproxy[1104]: 10.64.111.222:36635 [25/Jul/2016:07:45:12.479] promocloud~ promocloud/tst-service-proxy203 32/0/1/27/60 200 664 - - ---- 0/0/0/0/0 0/0 {} {} "POST /RTI HTTP/1.1"

使用$ {HAPROXYHTTP} grok模式解析

%{SYSLOGTIMESTAMP:syslog_timestamp} %{IPORHOST:syslog_server} %{SYSLOGPROG}: %{IP:client_ip}:%{INT:client_port} \[%{HAPROXYDATE:accept_date}\] %{NOTSPACE:frontend_name} %{NOTSPACE:backend_name}/%{NOTSPACE:server_name} %{INT:time_request}/%{INT:time_queue}/%{INT:time_backend_connect}/%{INT:time_backend_response}/%{NOTSPACE:time_duration} %{INT:http_status_code} %{NOTSPACE:bytes_read} %{DATA:captured_request_cookie} %{DATA:captured_response_cookie} %{NOTSPACE:termination_state} %{INT:actconn}/%{INT:feconn}/%{INT:beconn}/%{INT:srvconn}/%{NOTSPACE:retries} %{INT:srv_queue}/%{INT:backend_queue} (\{%{HAPROXYCAPTUREDREQUESTHEADERS}\})?( )?(\{%{HAPROXYCAPTUREDRESPONSEHEADERS}\})?( )?"(<BADREQ>|(%{WORD:http_verb} (%{URIPROTO:http_proto}://)?(?:%{USER:http_user}(?::[^@]*)?@)?(?:%{URIHOST:http_host})?(?:%{URIPATHPARAM:http_request})?( HTTP/%{NUMBER:http_version})?))?"

这很好用，在HOSTNAME部分的syslog_server中有一些意外的空值

 "syslog_server": [
    [
      "tst-proxy202"
    ]
  ],
  "HOSTNAME": [
    [
      "tst-proxy202",
      null                 <<<<<<<<< 
    ]
  ],
  "IP": [
    [
      null,
      null
    ]
  ],
  "IPV6": [
    [
      null,
      null,
      null
    ]
  ],
  "IPV4": [
    [
      null,
      "10.64.111.222",
      null
    ]
  ],

我确实用https://grokdebug.herokuapp.com/解析了这个和模式IPORHOST，以及IPORHOST https://grokdebug.herokuapp.com/patterns# 适用于主机名

tst-proxy202
%{IPORHOST:syslog_server}

{
  "syslog_server": [
    [
      "tst-proxy202"
    ]
  ],
  "HOSTNAME": [
    [
      "tst-proxy202"
    ]
  ],
  "IP": [
    [
      null
    ]
  ],
  "IPV6": [
    [
      null
    ]
  ],
  "IPV4": [
    [
      null
    ]
  ]
}

知道可能是什么问题吗？

Answer 1

如果我理解你正确，你试图摆脱那个空值。好吧，因为 HAPROXYHTTP 模式的最后一部分（其中它表示?(?:%{URIHOST:http_host})?(?:%{URIPATHPARAM:http_request})?( HTTP/%{NUMBER:http_version})?))?"）而出现空值。它以某种方式添加了一个空的HOSTNAME。幸运的是，这不是一个严重的问题，这就是为什么：

grok过滤器的默认选项包括named_captures_only => true（docs）和keep_empty_captures => false（docs）。在grok调试器中尝试这两个选项，输出看起来很干净。在logstash中你不必改变任何东西。

如果logstash错误解释了您的主机名，请尝试自己从grok值中检索它（例如使用mutate filter）：

filter {
  mutate {
    replace => { "HOSTNAME" => "%{syslog_server}" }
  }
}

如果您有其他问题，请告诉我。

grok解析器（％{IPORHOST：syslog_server}中的意外null）HAproxy

1 个答案: