logstash iptables log parse

Question

ELK在容器中运行

我设置iptables将所有输入/转发/输出日志发送到logstash。 在kibana发现窗格上看到的示例日志。

@version:1 host:3.3.3.3 @timestamp:March 3rd 2018, 12:14:45.220 message:<4>Mar 3 20:14:47 myhost kernel: [2242132.946331] LOG_ALL_TRAF public INPUT IN=public OUT= MAC=00:1e:67:f2:db:28:00:1e:67:f2:d9:7c:08:00 SRC=1.1.1.1 DST=2.2.2.2 LEN=52 TOS=0x00 PREC=0x00 TTL=64 ID=17722 DF PROTO=TCP SPT=3504 DPT=8080 WINDOW=512 RES=0x00 ACK URGP=0 type:rsyslog tags:_jsonparsefailure _id:AWHtgJ_qYRe3mIjckQsb _type:rsyslog _index:logstash-2018.03.03 _score: -

整个日志被归类为“消息”字段。

我想将SRC，DST，SPT，DPT等用作每个单独的字段，然后使用它们进行可视化。

非常感谢任何指导。

Answer 1

您需要了解Grok过滤器插件，以便将消息拆分为命名字段。

https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html

可以使用常见模式列表here。 您可以测试模式here。