我已在系统上配置了filebeat(版本7.1.1),以将日志发送到AWS Elastic Search,但它没有正确执行以下两项操作:
/var/log/filebeat
更新其自己的日志文件,并且/var/log/*logs
发送到AWS ES 问题1 :运行sudo service filebeat restart
时,它不会更新日志文件。我尝试运行filebeat -c /etc/filebeat/filebeat.yml
来更新日志文件。当我运行该命令时,终端挂起,我必须手动关闭终端并开始新的会话。 Filebeat日志在此之后得到更新。
问题2 :日志文件仅在第一次发送,然后再也不会更新。当我执行curl XGET aws_elasticsearch_domain
时,它仅返回第一次发送的日志。我也检查了Kibana仪表板,并且只包含第一次的日志。
根据我当前的/var/log/filebeat/filebeat
日志文件,与ES的连接已成功,并且日志已发送,但是我仍然无法在Kibana上或通过curl -XGET vpc-xxxxxxx.es.amazonaws.com/_search?pretty=true&q=*:*
看到更新的日志。
filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/*.log
scan_frequency: 5s
multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
multiline.negate: true
multiline.match: after
setup.template.settings:
index.number_of_shards: 1
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
output.elasticsearch:
hosts: ["vpc-xxxxxxxxxx.es.amazonaws.com:80"]
bulk_max_size: 2
timeout: 180
setup.kibana:
host: ["vpc-xxxxxxxxxxx.es.amazonaws.com:80"]
path: /_plugin/kibana