kafka-connect-elasticsearch:将消息存储为预定义索引的格式

时间:2018-09-20 14:27:22

标签: elasticsearch apache-kafka

示例:

{"id":"1","firstName":"abc","lastName":"xyz","dob":"12/09/1995","age":"23"}

此消息结构在kafka主题中,但我想在Elasticsearch中对此进行索引,如下所示:

{"id":"1","name"{"firstName":"abc","lastName":"xyz"},"dob":"12/09/1995","age":"23"}

我该如何实现?

1 个答案:

答案 0 :(得分:0)

两个选项:

  1. 针对Kafka主题中的数据进行流处理。使用Kafka Streams,您可以根据需要整理数据模型。 KSQL可以逆向工作,但尚不支持创建 STRUCT。其他流处理选项包括Flink,Spark Streaming等

  2. 使用单消息转换修改通过Kafka Connect传递的数据。没有预先构建的转换可以执行此操作,但是您可以使用the API编写一个转换。

免责声明:我为开源KSQL项目背后的公司Confluent工作,为Kafka Streams,Kafka Connect等做出了贡献。