我正在使用debezium mongodb连接器0.3.6,在docker容器内运行。我一直在监视kafka-connect,发现连接器停止拖尾mongodb并自动向kafka经纪人发送更改事件。经过调查,我发现有时候,在一段时间不活动之后,它的mongo连接被拒绝,并且在重试时,它成功连接,并发送它在非活动期间没有发送的大量记录。但每次都不是这种情况,因为我已经连续1小时遇到这种不活动,并且在故意重新启动连接器时,我可以让它正确地拖尾oplog,因此发送大量在不活动期间待处理的记录。
我附加了2个日志文件: - 1-包含拒绝mongo连接的日志,并自动重试并成功连接。 (git-remote-hg) 2-组成日志,其中1小时,它没有拖尾mongodb oplog,并且没有更改事件被发送到kafka,即使在mongodb oplog中写入了新事件。 (https://ufile.io/c5v5g)
我在这里找不到特别的问题。我的kafka-connect容器,mongodb主机和kafka代理都在不同的主机上运行,并通过公共IP连接。