遵循此弹性链接:Parsing your first logs with logstash
效果很好,我可以使用Discover在Kibana中查看Apache日志。是的!
因此,现在,我有了Palo FW日志,并已按照本教程中的说明调整了Filebeat文件:
paths:
- /var/log/logstash/logstash-tutorial.log
- /var/log/PaloaltoFW/PA-220-Dev.log
并且我在Kibana的Filebeat- *索引模式中收到一个错误,该错误纠正了我是否默认切换为从logstash-%DATE-00001教程中的错误!
pipelines.yml
- pipeline.id: sample
path.config: "/etc/logstash/conf.d/first-pipeline.conf"
- pipeline.id: main
path.config: "/etc/logstash/conf.d/PaloFW-pipeline.conf"
- pipeline.id: rsyslog
path.config: "/etc/logstash/conf.d/rsyslog.conf"
我也确实从filebeat中删除了注册表文件。
我的PaloFW-pipeline.conf:
# The # character at the beginning of a line indicates a comment. Use
# comments to describe your configuration.
input {
beats {
port => "5044"
type => "syslog"
}
}
# The filter part of this file is commented out to indicate that it is
# optional.
filter {
if [type] == "syslog" {
grok {
match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:[%{POSINT:syslog_pid}])?: %{GREEDYDATA:syslog_message}" }
add_field => [ "received_at", "%{@timestamp}" ]
add_field => [ "received_from", "%{host}" ]
}
date {
match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ]
}
}
kv {}
}
output {
elasticsearch {
hosts => [ "10.10.69.20:9200" ]
}
}
我现在可以在Kibana中看到日志,但是必须切换到默认索引,并且filebeat- *在发布开始时仍然会出现错误。理想情况下,我希望在logstash服务器上解析“ tutorial.log”和“ firewall.log”,并将它们显示为单独的索引和索引模式...一旦完成,我将继续介绍其他用例。
因此它们从教程logstash-%DATE%-0001加载到索引中,我可以看到它们,我的过滤器可能会更好。但是我需要弄清楚索引的工作方式,以及是否可以将filebeat用作多个.log并创建多个索引。
非常感谢社区的任何澄清!