我们正在使用增量+时间戳记模式下的JDBC源连接器来构建Kafka-connect应用程序。我们尝试了独立模式,它正在按预期方式工作。现在,我们想切换到分布式模式。
当我们有一个单独的Hive表作为源时,任务将如何在工人之间分配?
我们面临的问题是当我们在多个实例中运行应用程序时,它正在为每个实例查询表并再次获取相同的行。在这种情况下并行性会起作用吗?如果是这样
任务如何根据表的当前状态相互协调?
答案 0 :(得分:0)
参数tasks.max
与kafka-connect-jdbc源/接收器连接器没有任何区别。在jdbc连接器项目的source code中没有此属性。
请咨询JDBC source config options以获得该连接器的可用属性。