Postgres使用JDBC Kafka Connect进行流式传输

Question

我正在尝试使用Kafka Connect JDBC Connector在Postgres数据库中传输更改。我在启动时遇到问题，因为数据库非常大，并且每次查询都会因行间的变化而死亡。

在真正庞大的表上启动JDBC Connector的最佳做法是什么？

Answer 1

假设您无法暂停数据库上的工作负载，而您正在流式处理内容以允许初始化完成，我会查看Debezium。

事实上，根据你的使用情况，我会看看Debezium，不管:)它可以让你对Postgres（以及MySQL和MongoDB）做真正的CDC，并且是Kafka Connect插件就像JDBC Connector一样，所以你可以保留它的所有好处。