Kafka Connect Logstash

Question

如何通过Apache Kafka与Logstash连接？ 如何将它从Kafka中取出并进入类似Elasticsearch的问题不可避免地会出现。 有没有人有tuto这样做？

谢谢

Answer 1

Logstash有一个kafka的输入插件。首先，你应该熟悉apache kafka和他的生产者/消费者范例：https://kafka.apache.org/。然后开始使用Logstash：https://www.elastic.co/products/logstash。完成所有这些后，您将能够使用kafka输入插件进行logstash：https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html。最后一步是构建一个logstash管道，将数据插入目标，如Elasticsearch。这个简单的例子可以帮助您实现目标：

<强> logstash.conf

input {  
    kafka {
        bootstrap_servers => "localhost:9092"
        topics => ["example-topic"]
    }
}

output {  
    elasticsearch {
        hosts => ["localhost:9200"]
        index => "example-index"
    }
}

这里我们简单地从特定主题的kafka队列中获取数据。然后我们将数据存储到elasticsearch索引中。希望有所帮助！