Question

如果我需要所有其他日志而不需要信息，该如何设置filebeat。这是我的配置，但此配置不起作用：

filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /var/log/messages
    - /var/log/secure
    - /var/log/audit/audit.log
    - /var/log/yum.log
    - /root/.bash_history
    - /var/log/neutron/*.log
    - /var/log/nova/*.log
    - /var/log/keystone/keystone.log
    - /var/log/httpd/error_log
    - /var/log/mariadb/mariadb.log
    - /var/log/glance/*.log
    - /var/log/rabbitmq/*.log
  exclude_files: ['/var/log/neutron/metadata-agent.log$']
  ignore_older: 72h
- type: log
  enabled: true
  paths:
    - /var/log/neutron/metadata-agent.log
  level: error
  ignore_older: 72h
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
output.logstash:
  hosts: [""]

我的目标是在metas-agent.log情况下，我不想发送信息日志，仅发送与这些信息不同的所有其他信息：

2019-03-18 12:34:18.075 1183 TRACE neutron.agent.metadata.agent Exception: Unexpected response code: 504
2019-03-18 12:34:18.075 1183 TRACE neutron.agent.metadata.agent
2019-03-18 12:34:19.083 1186 ERROR neutron.agent.metadata.agent [-] Unexpected error.

但是使用此配置，信息仍在发送。问题出在哪里？我的文件拍版本是6.2

Answer 1

您可以在配置中定义处理器以处理事件在将它们发送到配置的输出之前

您可以如下使用filebeat.yml中drop_event部分下的Processors处理器，它将丢弃来自/var/log/neutron/metadata-agent.log文件的任何日志行，并且正则表达式匹配以例如：2019-03-18 12:34:18.075 1183 INFO

如果drop_event处理器关联了条件满足

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - drop_event:
     when:
      and:
        - equals:
           source: '/var/log/neutron/metadata-agent.log'
        - regexp:
           message: '^\d{4}-\d{2}-\d{2} \d{2}\:\d{2}\:\d{2}\.\d{3}\s\d{4}\sINFO\s'

Answer 2

Filebeat 7.x-您可以只使用exclude_lines

排除行。要匹配的正则表达式列表。它删除了以下行
匹配列表中的任何正则表达式。 include_lines在之前被调用
排除行。默认情况下，不删除任何行。
exclude_lines：['^ DBG']

来源：Filebeat Prospectors, exclude_lines

Filebeat不发送信息日志

2 个答案: