澄清索引/索引模式创建Logstash

时间:2019-09-11 05:36:24

标签: logstash elastic-stack logstash-grok logstash-forwarder

遵循此弹性链接:Parsing your first logs with logstash

效果很好,我可以使用Discover在Kibana中查看Apache日志。是的!

因此,现在,我有了Palo FW日志,并已按照本教程中的说明调整了Filebeat文件:

paths:
- /var/log/logstash/logstash-tutorial.log
- /var/log/PaloaltoFW/PA-220-Dev.log

并且我在Kibana的Filebeat- *索引模式中收到一个错误,该错误纠正了我是否默认切换为从logstash-%DATE-00001教程中的错误!

pipelines.yml

- pipeline.id: sample
path.config: "/etc/logstash/conf.d/first-pipeline.conf"

- pipeline.id: main
  path.config: "/etc/logstash/conf.d/PaloFW-pipeline.conf"

- pipeline.id: rsyslog
  path.config: "/etc/logstash/conf.d/rsyslog.conf"

我也确实从filebeat中删除了注册表文件。

我的PaloFW-pipeline.conf:

# The # character at the beginning of a line indicates a comment. Use
# comments to describe your configuration.
input {
beats {
port => "5044"
type => "syslog"
}
}
# The filter part of this file is commented out to indicate that it is
# optional.
filter {
if [type] == "syslog" {
grok {
match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:[%{POSINT:syslog_pid}])?: %{GREEDYDATA:syslog_message}" }
add_field => [ "received_at", "%{@timestamp}" ]
add_field => [ "received_from", "%{host}" ]
}
date {
match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ]
}
}
kv {}
}
output {
elasticsearch {
hosts => [ "10.10.69.20:9200" ]
}
}

我现在可以在Kibana中看到日志,但是必须切换到默认索引,并且filebeat- *在发布开始时仍然会出现错误。理想情况下,我希望在logstash服务器上解析“ tutorial.log”和“ firewall.log”,并将它们显示为单独的索引和索引模式...一旦完成,我将继续介绍其他用例。

因此它们从教程logstash-%DATE%-0001加载到索引中,我可以看到它们,我的过滤器可能会更好。但是我需要弄清楚索引的工作方式,以及是否可以将filebeat用作多个.log并创建多个索引。

非常感谢社区的任何澄清!

0 个答案:

没有答案