删除重复的远程syslog消息

Question

为了实现冗余，我们的分布式网络中的每个主机都将其系统日志消息发送到两个专用的rsyslog节点。这些又将syslog发送到中央graylog实例：

    / rsyslog \
host           --> graylog  
    \ rsyslog /

现在每条日志消息都会重复！

问题：我们如何保留冗余但删除重复项？ fluentd有办法解决这个问题吗？或者用于聚合日志消息的任何其他开源软件？ 我们不希望在整个设置中包含更多的复杂性，但插入一个额外的组件就可以了。

Answer 1

AKAIK，没有开源软件具有内置的重复数据消息，因为这些需求是特定于应用程序的。 我们可以使用主节点实现此类消息处理，但它具有性能/可伸缩性问题。

我们有几种方法来解决问题。

• 在记录中添加唯一ID以及在查询中区分。我不知道如何在graylog中区分......
• 一个流用于实时，另一个流用于备份。在一个graylog中没有合并流
• 在流利的情况下，您可以使用fluent-plugin-suppress（https://github.com/fujiwara/fluent-plugin-suppress）或fluent-plugin-dedup（https://github.com/edvakf/fluent-plugin-dedup）来处理此类情况。