Question

我在使用 Logstash (v7.11) 和 Elasticsearch 时遇到了一个奇怪的问题。

我目前有两个配置文件：

01-beats-syslog.conf（带有 winlogbeat 发送的日志）

 input {
  beats {
    port => 5044
    ssl => false
   }
 }

 filter {
 if [type] == "syslog" {
     grok {
       match => { "message" => "%{SYSLOGLINE}" }
     }

     date {
 match => [ "timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
 }
   }

 }

 output {
  elasticsearch {
   hosts => localhost
     index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
        }
 stdout {
     codec => rubydebug
        }
 }

02-network-syslog.conf（包含无代理设备（例如交换机、防火墙等）的日志）

 input {
   tcp {
     port => 514
     type => syslog
   }
   udp {
     port => 514
     type => syslog
   }
 }

 filter {
   if [type] == "syslog" {
     grok {
       match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
       add_field => [ "received_at", "%{@timestamp}" ]
       add_field => [ "received_from", "%{host}" ]
     }
     date {
       match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
     }
   }
 }

 output {
  elasticsearch {
     hosts => ["localhost:9200"]
     index => "syslog-%{+YYYY.MM}"
        }
 stdout {
     codec => rubydebug
        }
 }

出于某种原因，“winlogbeat”日志的副本最终会出现在“network-syslog”索引中（除了真正的 syslog 流量之外）。每个配置文件都在侦听不同的端口，这有什么问题？配置？

我还检查了我没有将流量转发到 514 的防火墙规则，实际上使用 tcpdump 我没有看到该端口上来自 winlogbeat 的流量。

Answer 1

如果您将 path.config 指向一个目录，那么 logstash 将连接该目录中的所有文件，从所有输入读取事件，通过所有过滤器运行它们，并将所有它们发送到所有输出。要么配置 pipelines.yml 以在单独的管道中运行每个配置文件，要么在输出周围使用条件

 output {
   if [type] == "syslog" {
      elasticsearch {
        hosts => ["localhost:9200"] ...

ELK - 重复日志

1 个答案: