有没有一种方法可以使用Kafka Connect连接到多个主机中的多个数据库？

Question

我需要使用Kafka Connect从Informix数据库获取数据。场景是这样-我有50个Informix数据库驻留在50个主机中。通过阅读Kafka connect可以理解的是，我们需要在每个主机中安装Kafka connect，以从该主机中的数据库中获取数据。我的问题是-有没有一种方法可以集中为这50个主机创建连接器，而不是安装到每个主机中并从数据库中提取数据？

Answer 1

Kafka Connect JDBC不必在数据库上运行，就像其他JDBC客户端一样，因此您可以将Kafka Connect集群设置为大于或小于数据库池。

Informix似乎有一个名为“用于Kafka的CDC复制引擎”的东西，可能值得研究，因为CDC总体上会导致数据库负载减少

Answer 2

您不需要在运行Informix服务器的系统上安装任何其他软件。对于所要解决的问题或计划的操作类型，我还是不太清楚。如果您打算设置场景的实时复制类型，则可能必须调用CDC API。然后需要在服务器上一次性设置CDC API，然后可以使用任何Informix数据库驱动程序API调用此API。如果您打算从表中读取现有数据并输入Kafka主题，则无需在服务器端进行任何其他设置。您可以从一个程序（远程）连接到所有50个数据库服务器，然后将这些记录泵送到Kafka主题。根据您使用的程序语言，可以选择Informix数据库驱动程序。