多个JDBC连接器一个主题

Question

我需要在不同的数据库上使用两个完全相同的表（位置也有所不同）以在同一主题上发布。 Kafka JDBC连接器未解释其如何管理高水位标记，因此被认为要检查这种情况下的最佳实践？ 1.我们能否保持2个单独的JDBC连接器发布到单独的主题 2.我们能否将2个单独的JDBC连接器发布到同一主题。

如果我们选择选项2，那么当消息同时进入表时，Kafka JDBC连接器将如何管理？如何管理不同的数据库时区？

Answer 1

1. 我们可以保持2个单独的JDBC连接器发布到单独的主题

是的

1. 我们可以将2个单独的JDBC连接器发布到同一主题吗？

是

如果消息同时并入表，Kafka JDBC连接器如何管理？

您将同时获得有关目标主题的两条消息。您的使用者可能需要逻辑来处理重复项（如果有）。您可以使用“单个消息转换”在写入主题的消息上设置密钥，并将其用作重复数据删除的一部分。