从Kafka向Elasticsearch发送日志的最快方法

Question

我正在寻找最快的日志发件人，该发件人可以将我的日志直接从kafka传输到elasticsearch。 我可以列举一些方法来做到这一点：

1. Kafka-> Elasticsearch
2. Kafka-> Logstash-> Elasticsearch
3. Kafka-> Golang-> Elasticsearch
4. Kafka-> rsyslog-> Elasticsearch
5. Kafka-> java / c / c ++-> Elasticsearch ...

有人可以告诉我哪种方法最快（具有相同资源的最高EPS）吗？ 预先感谢！

Answer 1

最快很难说；有几个不错的选择，并且将归结为一些因素，包括您的硬件，消息大小等。

对于进出Kafka的任何集成，我的起点始终是Kafka Connect-因为它是Apache Kafka本身的一部分。您可以单独下载connector for Elasticsearch来与现有的Kafka Connect群集一起使用，或者实际上可以将其作为Confluent Platform的一部分获得。

免责声明：我为Confluent工作。