Logstash,具有redis pub / sub输入的多个实例。我应该期待重复吗?

时间:2017-08-03 06:19:48

标签: elasticsearch redis logstash publish-subscribe

我有一个工作的ELK管道,带有redis输入和elasticsearch输出,带有一个logstash实例。

为了使其更可靠,我想将其扩展到2个实例,并在它们前面使用负载均衡器。

我担心得到重复的数据。 实际上,pub / sub机制应该将数据发布到两个logstash接收器,我认为没有理由不在ES上获取重复文档。

有没有人有这方面的经验?

修改。

这是logstash输入配置:

input {
  redis {
    add_field => {
      type => "xml_request_log"
    }
    data_type => "channel"
    key => "xml_requests_log"
    batch_count => "100"
    host => "my.redis.host"
  }
}

我不认为输出(elasticsearch)和过滤器部分与我的问题相关

0 个答案:

没有答案