我暂停了我的Kafka连接器,重新启动它们后,我的日志中出现了这些错误
[2020-02-19 19:36:00,219] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to commit offsets (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)
************
************
[2020-02-19 19:36:00,216] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to flush, timed out while waiting for producer to flush outstanding 2389 messages (org.apache.kafka.connect.runtime.WorkerSourceTask)
由于未完成消息的数量已更改,我多次遇到此错误。然后它停了下来,再也没有看到它。
我是否需要在此处采取任何措施,或者Connect已重试并提交了偏移量,这就是为什么错误已停止的原因?
谢谢
答案 0 :(得分:3)
该错误表明缓冲了很多消息,并且在达到超时之前无法刷新这些消息。要解决此问题,您可以
offset.flush.timeout.ms
配置参数producer.buffer.memory
来减少缓冲的数据量。当您收到大量邮件时,这将是最佳选择。