Question

我正在尝试按照本教程设置ELK Stack：https://www.digitalocean.com/community/tutorials/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-14-04

但是，Logstash存在问题：如果输出部分中有模式，则服务正在停止，例如 index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"

但是，对于常量字符串，它可以正常工作：index => "nginx_web"

有没有办法跟踪从filebeat传入的数据以检查有问题的部分？

logstash 2.3.2，filebeat 1.2.3

这是一个完整的logstash.conf：

input {
  beats {
    port => 5044
    ssl => true
    ssl_certificate => "/path/to/certs/logstash.crt"
    ssl_key => "/path/to/private/logstash.key"
  }
}

filter {
  grok {
    match => {
        "message" => "%{IPORHOST:hostname} %{IPORHOST:clientip} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{DATA:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{INT:response} (?:%{INT:bytes}|-) \"%{NOTSPACE:referrer}\" %{QS:useragent} %{NUMBER:resptime}"
    }
    remove_field => [ "message", "fields", "@timestamp", "input_type", "host", "request" ]
  }
  mutate {
    gsub => [ "useragent", "\"{1}", "" ]
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    manage_template => false
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
}

提前感谢！

Answer 1

您不应删除@timestamp字段，因为它用于索引名称中的%{+YYYY.MM.dd}部分。

如果您绝对想要删除@timestamp字段，则另一种方法是在删除@timestamp字段之前为索引名称添加新字段。

在remove_field：

之前添加此内容

add_field => { "index" => "beat-%{+YYYY.MM.dd}"}

然后在%{index}输出中使用elasticsearch。

当元数据输出时，Logstash停止

1 个答案: