是否可以将 debezium/kafka 配置为从单个主题中的多个表接收消息?

时间:2021-03-08 12:00:31

标签: apache-kafka confluent-platform debezium

我们依赖于一个我们无法控制的外部数据库。出于我们的目的,我们每天都会维护一份该数据库的副本,该副本用于我们的产品中,我们可以根据需要对其进行配置和扩展。

我们目前正在尝试使用 Debezium 和 Kafka 作为获取实时更新的一种方式。但是,我们对源数据库中最大和更新最频繁的表之一的使用取决于连接表。由于数据的大小,这种连接效率低下。

理想情况下,我们希望将这两个源表中的数据合并到一个表中以供生产使用。我们可以尝试在流程结束时使用某种映射器来做到这一点,但这将从两个相关主题中获取消息,并且 upsert 的效率和数据的顺序会出现问题已插入。

如果我们可以在 Debezium 或 Kafka 中配置它会更好,这样两个表都可以输入到同一个主题中,然后可以通过单个映射器将其输入到单个源表中。从我目前在文档中阅读的内容来看,我怀疑这是不可能的。但是,如果有人能够澄清这一点和/或解释如何进行,这会很有用吗?

0 个答案:

没有答案