如何使用python将数据从Kafka发送到ElasticSearch

Question

我正在使用Python语言。我有csv文件，我需要转换成json并发送到kafka，然后发送到ElasticSearch。

我能够将Csv转换为Json并发送给kafka消费者。如何将数据从Kafka Consumer获取到ElasticSearch

Answer 1

您可以使用带有 Kafka 输入插件的 Logstash 将数据发送到 Elasticsearch。它易于配置和运行。 https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html

Answer 2

您不需要编写任何Python。 Kafka本身提供了一个称为Kafka Connect的流集成API。要使用它，只需使用JSON文件对其进行配置。

• 使用https://github.com/jcustenborder/kafka-connect-spooldir将CSV文件提取到Kafka中
  • 使用示例：https://www.confluent.io/blog/ksql-in-action-enriching-csv-events-with-data-from-rdbms-into-AWS/
• 将数据从Kafka主题流式传输到Elasticsearch https://www.confluent.io/connector/kafka-connect-elasticsearch/
  • 使用示例：https://www.confluent.io/blog/blogthe-simplest-useful-kafka-connect-data-pipeline-in-the-world-or-thereabouts-part-2

免责声明：我为Confluent工作，并写了上述文章。