Filebeat无法将更新的日志发送到AWS Elastic Search

时间:2019-06-07 19:13:47

标签: elasticsearch filebeat aws-elasticsearch

我已在系统上配置了filebeat(版本7.1.1),以将日志发送到AWS Elastic Search,但它没有正确执行以下两项操作:

  1. /var/log/filebeat更新其自己的日志文件,并且
  2. 将更新后的日志从/var/log/*logs发送到AWS ES

问题1 :运行sudo service filebeat restart时,它不会更新日志文件。我尝试运行filebeat -c /etc/filebeat/filebeat.yml来更新日志文件。当我运行该命令时,终端挂起,我必须手动关闭终端并开始新的会话。 Filebeat日志在此之后得到更新。

问题2 :日志文件仅在第一次发送,然后再也不会更新。当我执行curl XGET aws_elasticsearch_domain时,它仅返回第一次发送的日志。我也检查了Kibana仪表板,并且只包含第一次的日志。

根据我当前的/var/log/filebeat/filebeat日志文件,与ES的连接已成功,并且日志已发送,但是我仍然无法在Kibana上或通过curl -XGET vpc-xxxxxxx.es.amazonaws.com/_search?pretty=true&q=*:*看到更新的日志。

filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log
  scan_frequency: 5s
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
  multiline.negate: true
  multiline.match: after

setup.template.settings:
  index.number_of_shards: 1

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

output.elasticsearch:
  hosts: ["vpc-xxxxxxxxxx.es.amazonaws.com:80"]
  bulk_max_size: 2
  timeout: 180

setup.kibana:
  host: ["vpc-xxxxxxxxxxx.es.amazonaws.com:80"]
  path: /_plugin/kibana

0 个答案:

没有答案