FluentD聚合器 - 何时使用？

Question

我们正在考虑使用FluentD从代理服务器发送Blue Coat日志事件。 dhcp服务器弹性。其中一个关键要求是标记异常值和尽快出现异常现象。

对于这样的要求，使用FluentD聚合器从几个（可能是数百个）FluentD收集器代理中获取事件是否有意义？ 或者，让FluentD代理将事件发送到写入Elastic的Kafka集群是否更好？

如果我可以获得何时使用FluentD聚合器的指导，那将非常有用。

谢谢， Sharod

Answer 1

一般来说，有两种常见病例。

1 - 当您需要为过滤器使用多个插件时 2 - 目标服务/ db / etc的限制吞吐量......

Filter for Filter消耗大量性能。这意味着它可能会影响生成日志的服务器。 因此，在服务器上流利的人应该做最少的工作，将日志传输到聚合器或Kafka或其他东西。

其他用例，如果您需要有时重写配置，如果您在聚合服务器中使用过滤器，则无需重新启动服务器上的所有流量。

2 - 通常，外部服务/ DB在将数据更新/插入其存储方面存在很多限制。如果很多流利的人试图经常写数据，他们会轻易地显示任何异常。 为了避免这种情况，应该使用聚合器。