考虑以下场景
数据库 表 1、表 2 -->(1)
--> (1) Debezium-Source-Connector --> Table1Topic, Table2Topic ----->(2)
--> (2) KStream(会将Table1Topic 和Table2Topic 转换并重命名为ProcessedTopic。 基本上 kstream 将只处理 Table2Topic 数据并添加下面没有任何 id 字段的字段 在负载(updateByQuery, updateScriptSource,targetIndex) 和Table1Topic 将重命名为 ProcessedTopic。 这里Table2Topic有需要在目标索引中更新的信息 在我们的例子中,Table1Topic 数据是我们想要保存的带有文档 ID 的主要数据 在elasticsearch中,Table2Topic数据将通过elasticsearch通过_update_by_query合并到Tale1Topic索引之上)
updateByQuery <--- 将用于为“_update_by_query”请求准备查询字段
updateScriptSource <--- 将包含“_update_by_query”请求中脚本源的更新数据
targetIndex <--- 包含目标索引名称
例如: { “脚本”: { “源”:updateScriptSource, “朗”:“无痛” }, “查询”:updateByQuery }
注意:Kstream 是我个人处理主题的实现
(2)---> ProcessedTopic ---> (3)ElasticSearch-Sink-Connector --->(4) ElasticSearch
我想实现上述场景。 如果已经有一些类似的实现可用,那么有人可以指导我。 任何帮助表示赞赏。
谢谢