Logstash Grok过滤器键/值对

Question

致力于将我们的ESET日志文件（json格式）转换为elasticsearch。我将日志发送到我们的syslog服务器（syslog-ng），然后发送到logstash和elasticsearch。一切都在发生。我的问题是尝试在logstash中处理日志...我似乎无法将键/值对分成单独的字段。

以下是一个示例日志条目：

Jul  8 11:54:29 192.168.1.144 1 2016-07-08T15:55:09.629Z era.somecompany.local ERAServer 1755 Syslog {"event_type":"Threat_Event","ipv4":"192.168.1.118","source_uuid":"7ecab29a-7db3-4c79-96f5-3946de54cbbf","occured":"08-Jul-2016 15:54:54","severity":"Warning","threat_type":"trojan","threat_name":"HTML/Agent.V","scanner_id":"HTTP filter","scan_id":"virlog.dat","engine_version":"13773 (20160708)","object_type":"file","object_uri":"http://malware.wicar.org/data/java_jre17_exec.html","action_taken":"connection terminated","threat_handled":true,"need_restart":false,"username":"BATHSAVER\\sickes","processname":"C:\\Program Files (x86)\\Google\\Chrome\\Application\\chrome.exe"}

这是我的logstash conf：

input {
  udp {
    type => "esetlog"
    port => 5515
  }
  tcp {
    type => "esetlog"
    port => 5515
  }

filter {
  if [type] == "esetlog" {
    grok {
      match => { "message" => "%{DATA:timestamp}\ %{IPV4:clientip}\ <%{POSINT:num1}>%{POSINT:num2}\ %{DATA:syslogtimestamp}\ %{HOSTNAME}\ %{IPORHOST}\ %{POSINT:syslog_pid\ %{DATA:type}\ %{GREEDYDATA:msg}" }
      }
    kv {
      source => "msg"
      value_split => ":"
      target => "kv"
    }
  }
}

output {
  elasticsearch {
    hosts => ['192.168.1.116:9200']
    index => "eset-%{+YYY.MM.dd}"
  }
}

当数据以kibana显示而不是数据和时间时，所有内容仅在“消息”字段中汇总在一起，没有单独的键/值对。

我一直在阅读和搜索一周。我和其他日志文件做了类似的事情，没有任何问题，所以不确定我缺少什么。非常感谢任何帮助/建议。

Answer 1

您可以尝试下面的logstash配置

       grok {
                   match => {
                    "message" =>["%{CISCOTIMESTAMP:timestamp} %{IPV4:clientip} %{POSINT:num1} %{TIMESTAMP_ISO8601:syslogtimestamp} %{USERNAME:hostname} %{USERNAME:iporhost} %{NUMBER:syslog_pid} Syslog %{GREEDYDATA:msg}"]
                            }

            }
            json {
                    source => "msg"
            }

它在http://grokconstructor.appspot.com/do/match#result

中进行了测试

问候。