我正在使用Confluent Platform 4.1.1将数据从sql-server传输到Oracle数据库。 为此,我正在使用时间戳+递增模式和融合的JDBC。 但是有时我会看到源连接器不断反复提取相同的旧数据(之前已经同步过),并不断将其写入到Kafka日志文件中,因此,同步插入的任何新数据会花费大量时间在sql-server表中。 在这种情况下,当我检查消费者的滞后时,那将是巨大的。
我认为这正在发生,因为它正在失去补偿。我使用的是24小时的offset.retention(默认值)。因此,我将其增加到7天,但是即使我们每天都有交易,仍然间歇性地看到该问题。
有人可以解释这种行为吗?如果需要,我很乐意提供更多详细信息。