Filebeats不支持Docker撰写日志,为什么?

时间:2016-10-19 19:02:04

标签: elasticsearch docker logstash docker-compose filebeat

我正在关注 this tutorial设置一个ELK堆栈(VPS B),它将使用Beatfile作为转发器接收一些Docker / docker组合图像日志(VPS A),我的图如下所示 enter image description here

到目前为止,我已经设法使所有具有绿色滴答的接口工作。但是,仍然存在一些我无法理解的问题。因此,如果有人能帮我解决一下,我将不胜感激。

我的主要问题是我没有从VPSA获取任何Docker / docker-compose日志到VPSB的Filebeat服务器;尽管如此,我在VPSB的Filebeat服务器上获得了来自VPSA的其他日志,例如rsyslog,身份验证日志等。我已将docker-compose文件配置为使用rsyslog作为日志记录驱动程序转发日志,然后filebeat将该syslog转发给VPSB。到达这一点,我确实看到来自docker守护程序本身的日志,例如虚拟接口上/下,凝视过程等,但不是包含器本身的“调试”日志。

VPSA中Filebeat客户端的配置如下所示

root@VPSA:/etc/filebeat# cat filebeat.yml 
filebeat:
  prospectors:
    -
      paths:
        - /var/log/auth.log
        - /var/log/syslog
#        - /var/log/*.log


      input_type: log

      document_type: syslog

  registry_file: /var/lib/filebeat/registry

output:
  logstash:
    hosts: ["ipVPSB:5044"]
    bulk_max_size: 2048

    tls:
      certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]

shipper:

logging:
  files:
    rotateeverybytes: 10485760 # = 10MB
    level: debug

其中一个docker-compose日志记录驱动程序如下所示

redis:
    logging: 
       driver: syslog
       options:
           syslog-facility: user 

最后我想问一下,是否可以将原木从docker-composer本地转发到VPSA中的Filebeat客户端,图中的红色箭头,以便它可以将它们转发到我的VPSB。

非常感谢,

关于!!

1 个答案:

答案 0 :(得分:0)

问题似乎出现在FileBeat VPSA中,因为它必须从syslog中收集数据,它必须在syslog之前运行!

更新 rc.d 使其正常工作

sudo update-rc.d filebeat defaults 95 10

如果有人需要,我的filebeats.yml

root@VPSA:/etc/filebeat# cat filebeat.yml 
filebeat:
  prospectors:
    -
      paths:
#        - /var/log/auth.log
        - /var/log/syslog
#        - /var/log/*.log


      input_type: log
      ignore_older: 24h
      scan_frequency: 10s      
      document_type: syslog

  registry_file: /var/lib/filebeat/registry

output:
  logstash:
    hosts: ["ipVPSB:5044"]
    bulk_max_size: 2048

    tls:
      certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]

shipper:

logging:
  level: debug
  to_files: true
  to_syslog: false
  files:
    path: /var/log/mybeat
    name: mybeat.log
    keepfiles: 7
    rotateeverybytes: 10485760 # = 10MB

此致