无法理解流利/ td-agent发送机制

时间:2015-10-03 13:20:39

标签: logging rabbitmq amqp fluentd ubuntu-15.04

嘿,我最近和流利的人一起工作。所以问题就是我正在建立一个环境,从不同的服务器中流利地将日志发送到中央系统,并且将在完成日志处理的情况下安装流畅的数据。

但我现在陷入困境。我无法理解它用于将日志从一个节点传输到另一个节点的机制。另外我想在这里使用像rabbitmq这样的消息队列来为我做这个。

我无法在谷歌上找到这个问题的合适答案,我也没有找到非常适合我的文档来理解关于流利及其插件的所有内容。由于我的网络概念不那么强大,有些事情让我头脑发热。此外,我发现默认情况下它会将日志发送到宝藏数据,并且有一种方法可以禁用它。我想要了解如何使用rabbitmq为我做这件事。

2 个答案:

答案 0 :(得分:1)

@repeatedly感谢您的努力。我已经阅读了文档。它的文档需要更多的工作。

找到解决方案。流利的收集器使用tcp协议直接发送日志。我已经配置了我的流利使用kafka作为消息队列。流利的收集器从日志文件中收集日志并将它们发送到kafka服务器,从那里将它们发送到elasticsearch。因此,使用另一个流畅的图层来收集来自kafka的日志并将它们转发给elasticsearch。它工作正常。

答案 1 :(得分:0)

以下是基本文件,并解释了流利的作品。 如果要连接到rabbitmq,可以使用amqp2输出插件。使用amqp2插件只需两步。安装它并添加配置。

// In fluentd gem
$ fluent-gem install fluent-plugin-amqp2
// In td-agent
$ /usr/sbin/td-agent-gem install fluent-plugin-amqp2

之后,将amqp2配置添加到fluent.conftd-agent.conf。配置在插件自述文件中:https://github.com/restorando/fluent-plugin-amqp#configuration

顺便问一下,你能告诉我I'm unable to understand the mechanism的更多细节吗?它有助于我们的文件:)