从Kafka流到Elasticsearch时的主题映射

时间:2018-12-03 18:14:01

标签: elasticsearch apache-kafka apache-kafka-connect confluent

当我转移或流传输两个和三个表时,我可以轻松地在Elasticsearch中进行映射,但可以将主题自动映射到索引

我已经通过手动映射topic.index.map=topic1:index1,topic2:index2等将数据从PostgreSQL流式传输到ES。

我可以自动映射生产者发送的任何主题,然后消费者自动在ES连接器中消费吗?

1 个答案:

答案 0 :(得分:1)

默认情况下,主题直接映射到同名索引。

如果要“更好”地控制,可以在RegexRouter属性中使用transforms

引用文档

  

topic.index.map

     

现在不推荐使用此选项。将来的版本可能会完全删除它。请使用单个消息转换(例如RegexRouter)将主题名称映射到索引名称

如果无法为连接器中的每个主题捕获单个正则表达式,请运行具有不同模式的更多连接器