我有一个工作的ELK管道,带有redis输入和elasticsearch输出,带有一个logstash实例。
为了使其更可靠,我想将其扩展到2个实例,并在它们前面使用负载均衡器。
我担心得到重复的数据。 实际上,pub / sub机制应该将数据发布到两个logstash接收器,我认为没有理由不在ES上获取重复文档。
有没有人有这方面的经验?
修改。
这是logstash输入配置:
input {
redis {
add_field => {
type => "xml_request_log"
}
data_type => "channel"
key => "xml_requests_log"
batch_count => "100"
host => "my.redis.host"
}
}
我不认为输出(elasticsearch)和过滤器部分与我的问题相关