Elasticsearch Sink 连接器中是否支持 UpdateByQuery 或者有人可以将我引导到任何此类用于 elasticsearch 的自定义接收器连接器?

时间:2021-04-15 12:00:08

标签: elasticsearch apache-kafka-connect

考虑以下场景

数据库 表 1、表 2 -->(1)

--> (1) Debezium-Source-Connector --> Table1Topic, Table2Topic ----->(2)

--> (2) KStream(会将Table1TopicTable2Topic 转换并重命名为ProcessedTopic。 基本上 kstream 将只处理 Table2Topic 数据并添加下面没有任何 id 字段的字段 在负载(updateByQuery, updateScriptSource,targetIndex) 和Table1Topic 将重命名为 ProcessedTopic。 这里Table2Topic有需要在目标索引中更新的信息 在我们的例子中,Table1Topic 数据是我们想要保存的带有文档 ID 的主要数据 在elasticsearch中,Table2Topic数据将通过elasticsearch通过_update_by_query合并到Tale1Topic索引之上)

updateByQuery <--- 将用于为“_update_by_query”请求准备查询字段

updateScriptSource <--- 将包含“_update_by_query”请求中脚本源的更新数据

targetIndex <--- 包含目标索引名称

例如: { “脚本”: { “源”:updateScriptSource, “朗”:“无痛” }, “查询”:updateByQuery }

注意:Kstream 是我个人处理主题的实现

(2)---> ProcessedTopic ---> (3)ElasticSearch-Sink-Connector --->(4) ElasticSearch

我想实现上述场景。 如果已经有一些类似的实现可用,那么有人可以指导我。 任何帮助表示赞赏。

谢谢

0 个答案:

没有答案