如何配置Kafka群集以与Elastic Search群集一起使用？

Question

我必须构建一个类似于此拓扑的日志集群和监视集群（以实现高可用性）。我想知道如何配置这些日志运送者群集。 （我的图片中有2张Topo）

1. 如果我在Kafka群集中将Kafka与FileBeat一起使用，将进行弹性搜索 收到重复数据，因为Kafka的数据中有副本吗？

2. 如果我使用Logstash（在Elastic Search Cluster中）从中获取日志 Kafka Cluster，配置应该如何，因为我认为 Logstash将不知道从何处读取Kafka上的日志效率 集群。

Cluster topology

感谢您的阅读。如果您有任何想法，请与我讨论^^！

Answer 1

如我所见，这两种配置都与Kafka兼容，因此可以在用户和生产者阶段使用filebeat，logstash或混合它们！

恕我直言，所有这些都取决于您的需求，即：有时我们会使用一些过滤器来丰富数据，然后再提取到kafka（生产者阶段），或者在将数据索引到弹性之前（消费者阶段），在这种情况下，最好使用logatsh ，因为使用过滤器比在filebeat中更容易

但是，如果您想使用原始数据，也许文件拍子更好，因为代理更轻便。

关于您的问题：

1. Kafka的数据已被复制，但对于HA支持者，您只能在相同的消费者组中读取一次数据
2. 要从带logstash的kafka中读取日志，您可以使用用于kafka的logstash输入插件，简单易用！

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html