Question

我正在使用FileBeat通过LogStash将日志消息加载到ElasticSearch中。日志文件位于Windows网络共享上。 FileBeat在Linux机器上运行，其中Windows共享通过CIF映射。问题是某些日志文件记录是重复的。有趣的是，重复的记录是在几个小时的时间间隔内创建的。在FileBeat和LogStash的日志文件中，我看不到任何关键信息。我知道，不建议从网络共享中使用FileBeat加载日志。据说inode值重用存在问题。但是我在FileBeat注册表文件中看不到具有不同inode值的一个文件的记录。 FileBeat创建重复消息的原因可能是什么？

更新。这是我的filebeat.yml：

filebeat.inputs:
- type: log
    - \\<host_name>\<folder>\*.<service_name>.*.2019*.log
    - \\<host_name>\<folder>\*.<service_name>.*.2019*.log...
  encoding: Windows-1251
  multiline.pattern: '^\d{4}-\d{2}-\d{2}'
  multiline.negate: true
  multiline.match: after  

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 3

output.logstash:
  hosts: ["<some_ip_address>:5044"]
  enabled: true

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

FileBeat创建的重复消息

0 个答案: