示例:
{"id":"1","firstName":"abc","lastName":"xyz","dob":"12/09/1995","age":"23"}
此消息结构在kafka主题中,但我想在Elasticsearch中对此进行索引,如下所示:
{"id":"1","name"{"firstName":"abc","lastName":"xyz"},"dob":"12/09/1995","age":"23"}
我该如何实现?
答案 0 :(得分:0)
两个选项:
针对Kafka主题中的数据进行流处理。使用Kafka Streams,您可以根据需要整理数据模型。 KSQL可以逆向工作,但尚不支持创建 STRUCT。其他流处理选项包括Flink,Spark Streaming等
使用单消息转换修改通过Kafka Connect传递的数据。没有预先构建的转换可以执行此操作,但是您可以使用the API编写一个转换。
免责声明:我为开源KSQL项目背后的公司Confluent工作,为Kafka Streams,Kafka Connect等做出了贡献。