kafka-connect jdbc分布式模式

时间:2018-08-29 03:10:34

标签: apache-kafka apache-kafka-connect confluent

我们正在使用增量+时间戳记模式下的JDBC源连接器来构建Kafka-connect应用程序。我们尝试了独立模式,它正在按预期方式工作。现在,我们想切换到分布式模式。

当我们有一个单独的Hive表作为源时,任务将如何在工人之间分配?

我们面临的问题是当我们在多个实例中运行应用程序时,它正在为每个实例查询表并再次获取相同的行。在这种情况下并行性会起作用吗?如果是这样
任务如何根据表的当前状态相互协调?

1 个答案:

答案 0 :(得分:0)

参数tasks.max与kafka-connect-jdbc源/接收器连接器没有任何区别。在jdbc连接器项目的source code中没有此属性。

请咨询JDBC source config options以获得该连接器的可用属性。