使用Debezium将所有数据库表捕获到一个Kafka主题

Question

如何配置Debezium将数据库中的所有表发布到单个Kafka主题？

有可能吗？

Answer 1

默认情况下，Debezium会为每个数据库+表写出一个主题

您可能要查看topic routing上的文档

  

Debezium使您可以使用单个消息转换或SMT在消息到达转换器之前重新路由发出的更改。 Debezium提供的SMT使您可以根据正则表达式和替换模式（可以根据Debezium的每个实例进行配置）重写主题和密钥。

因此您可以尝试类似

transforms=Combine
transforms.Combine.type=io.debezium.transforms.ByLogicalTableRouter
transforms.Combine.topic.regex=(.*)
transforms.Combine.topic.replacement=all_tables

您还可以在Kafka Connect文档部分找到其他SMT示例，我认为RegexRouter是值得尝试的一个