Kafka Connect-无法提交偏移量和刷新

时间:2020-02-20 09:43:27

标签: apache-kafka apache-kafka-connect debezium

我暂停了我的Kafka连接器,重新启动它们后,我的日志中出现了这些错误

[2020-02-19 19:36:00,219] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to commit offsets (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)
************
************
[2020-02-19 19:36:00,216] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to flush, timed out while waiting for producer to flush outstanding 2389 messages (org.apache.kafka.connect.runtime.WorkerSourceTask)

由于未完成消息的数量已更改,我多次遇到此错误。然后它停了下来,再也没有看到它。

我是否需要在此处采取任何措施,或者Connect已重试并提交了偏移量,这就是为什么错误已停止的原因?

谢谢

1 个答案:

答案 0 :(得分:3)

该错误表明缓冲了很多消息,并且在达到超时之前无法刷新这些消息。要解决此问题,您可以

  • 在您的Kafka Connect Worker配置中增加offset.flush.timeout.ms配置参数
  • 或者您可以通过减少Kafka Connect Worker配置中的producer.buffer.memory来减少缓冲的数据量。当您收到大量邮件时,这将是最佳选择。