Elasticsearch Kafka Connector - 根据消息值设置索引

Question

我通过以下格式通过Kafka主题发送消息：

{"elasticsearch_index": "index_1", "first_name": "Jane"}
{"elasticsearch_index": "index_2", "first_name": "John"}

请注意，每条消息都包含我们要将记录路由到的所需Elasticsearch索引。是否可以使用Confluent的Elasticsearch Kafka Connector将这些记录路由到适当的索引名称（例如elasticsearch_index键下列出的任何内容）？

单个消息转换（SMT）目前看起来并不支持这种行为，但也许我误读了。任何信息将不胜感激。

Answer 1

两个选项：

1. 使用Single Message Transform API
编写您自己的转换
2. 首先使用KSQL（或Kafka Streams）将消息路由到所需主题，然后使用新的（Apache Kafka 1.1）正则表达式功能将这些主题从Kafka Connect下载到Elasticsearch。