Question

我想启动ELK堆栈以从我的所有网络设备（思科，F5，华为，CheckPoint等）收集syslog。在尝试Logstash的同时编写grok模式。

以下是来自Cisco ASR的消息示例：

<191> 10月30日16:30:10 evlogd：[local-60sec10.950] [cli 30000调试] [8/0/30501 cliparse.c：367] [上下文：本地，contextID：1] [软件内部系统syslog] CLI命令[用户root，模式[本地] ASR5K]：显示ims-授权策略控制统计信息\ u0000

<190> 10月30日16:30:10 evlogd：[local-60sec10.959] [cli 30005信息] [8/0/30501 _commands_cli.c：1792] [软件内部系统syslog] CLI会话因安全性而结束设备/ dev / pts / 7 \ u0000上的管理员root

<190> 10月30日16:30:10 evlogd：[local-60sec10.981] [snmp 22002信息] [8/0/4550 trap_api.c：930] [软件内部系统syslog]内部陷阱通知53（ CLISessEnd）用户根特权级别安全管理员ttyname / dev / pts / 7 \ u0000

<190> 10月30日16:30:12 evlogd：[local-60sec12.639] [cli 30004信息] [8/0/30575 cli_sess.c：127] [软件内部系统syslog]为安全起见启动了CLI会话设备/ dev / pts / 7上的管理员root，从192.168.1.1 \ u0000

<190> 10月30日16:30:12 evlogd：[local-60sec12.640] [snmp 22002信息] [8/0/30575 trap_api.c：930] [软件内部系统syslog]内部陷阱通知52（ CLISessStart）用户根特权级别安全管理员ttyname / dev / pts / 7 \ u0000

所有这些都与我的模式here和here匹配。

<%{POSINT:syslog_pri}>%{DATA:month} %{DATA:monthday} %{TIME:time} %{WORD:device}: \[%{WORD:facility}\-%{HOSTNAME}\] \[%{WORD:service} %{POSINT} %{WORD:priority}\] \[%{DATA}\] ?(\[context: %{DATA:context}, %{DATA}\])?%{SPACE}?(\[%{DATA}\] )%{GREEDYDATA:message}\\u0000

但是我的简单logstash配置返回标记_grokparsefailure（如果我在syslog输入插件中使用GROK，则返回_grokparsefailure_sysloginput），并且不会解析日志。

使用GROK过滤器进行配置

input { udp {
    port => 5140
    type => syslog } }

filter {
  if [type] == "syslog" {
     grok {
      match => ["message", "<%{POSINT:syslog_pri}>%{DATA:month} %{DATA:monthday} %{TIME:time} %{WORD:device}: \[%{WORD:facility}\-%{HOSTNAME}\] \[%{WORD:service} %{POSINT} %{WORD:priority}\] \
[%{DATA}\] ?(\[context: %{DATA:context}, %{DATA}\])?%{SPACE}?(\[%{DATA}\] )%{GREEDYDATA:response}\\u0000"]
    }
  }
}

output { stdout { codec => rubydebug } }

输出：

{
      "@version" => "1",
          "host" => "172.17.0.1",
    "@timestamp" => 2018-10-31T09:46:51.121Z,
       "message" => "<190>Oct 31 15:46:51 evlogd: [local-60sec51.119] [snmp 22002 info] [8/0/4550 <sitmain:80> trap_api.c:930] [software internal system syslog] Internal trap notification 53 (CLISessEnd) user kiwi privilege level Security Administrator ttyname /dev/pts/7\u0000",
          "type" => "syslog",
          "tags" => [
        [0] "_grokparsefailure"
    ]
}

配置syslog-input-plugin：

input {
  syslog {
    port => 5140
    grok_pattern => "<%{POSINT:syslog_pri}>%{DATA:month} %{DATA:monthday} %{TIME:time} %{WORD:device}: \[%{WORD:facility}\-%{HOSTNAME}\] \[%{WORD:service} %{POSINT} %{WORD:priority}\] \[%{DATA
}\] ?(\[context: %{DATA:context}, %{DATA}\])?%{SPACE}?(\[%{DATA}\] )%{GREEDYDATA:response}\\u0000"
  }
}

output {
  stdout { codec => rubydebug }
       }

输出：

{
          "severity" => 0,
        "@timestamp" => 2018-10-31T09:54:56.871Z,
          "@version" => "1",
              "host" => "172.17.0.1",
           "message" => "<191>Oct 31 15:54:56 evlogd: [local-60sec56.870] [cli 30000 debug] [8/0/22400 <cli:8022400> cliparse.c:367] [context: local, contextID: 1]  [software internal system syslog] CLI command [user kiwi, mode [local]ALA3_ASR5K]: show subscribers ggsn-only sum apn osmp\u0000",
              "tags" => [
        [0] "_grokparsefailure_sysloginput"
    ],
}

我在做什么错？有人可以解决吗？

PS已在logstash 2.4.1和5上进行了测试

Answer 1

与在线调试器不同，logstash的GROK不喜欢我的\\ u0000模式结尾处的内容。使用单个反斜杠，一切正常。

右grok过滤器为：

<%{POSINT:syslog_pri}>%{DATA:month} %{DATA:monthday} %{TIME:time} %{WORD:device}: \[%{WORD:facility}\-%{HOSTNAME}\] \[%{WORD:service} %{POSINT} %{WORD:priority}\] \[%{DATA}\] ?(\[context: %{DATA:context}, %{DATA}\])?%{SPACE}?(\[%{DATA}\] )%{GREEDYDATA:message}\u0000

Answer 2

我也遇到过类似的问题。解决方法是仅从路由器/防火墙/交换机接收这些日志到syslog-ng服务器，然后转发到logstash。

以下是syslog-ng的示例配置，

source s_router1 {
    udp(ip(0.0.0.0) port(1514));
    tcp(ip(0.0.0.0) port(1514));
};

destination d_router1_logstash { tcp("localhost",port(5045)); };

log { source(s_router1); destination(d_router1_logstash); };

GROK模式无法解析日志

2 个答案: