我遇到了Kafka Mirror Maker的问题。 由于集群升级,我已经停止了镜像制造商30分钟,并且在重新启动集群时,镜像制造商无法使用源集群中的数据。 我看到镜像制造商的消费者群体的滞后性非常高,所以我正在考虑改变一些参数以增加镜子制造商的缓冲区大小。 我已经尝试更改镜像制造商的使用者组,在这种情况下,此操作允许重新开始使用最新消息中的数据。当我尝试从上次保存的偏移量重新启动过程时,我看到消耗数据的峰值,但镜像制造商无法提交偏移量,因为日志在行中被阻止:INFO kafka.tools.MirrorMaker $:提交偏移量而不是在此之后会有更多行显示。
我认为问题与要处理的大量数据有关。 我用这种配置运行了一个带有Kafka 0.8.2.1的集群:
dual.commit.enabled=false offsets.storage=zookeeper auto.offset.reset=largest
提前致谢