Kafka MirrorMaker - 从旧版到新版

时间:2016-06-16 16:21:30

标签: apache-kafka

我想从Kafka源群集镜像到Kafka目标群集。如果我的Source和Target Cluster都在同一个版本(比如0.10.0.0),但是当我的Source Cluster在0.8.2.1上并且Target Cluster在0.10.0.0上时,它就无法正常工作。

有人有任何想法吗?

提前致谢。

2 个答案:

答案 0 :(得分:1)

我遇到了同样的问题。看来镜像制作仅在源集群和目标集群版本相同时才有效。

答案 1 :(得分:0)

我可以确认这不会起作用。我使用Confluent Platform 3.0中的MirrorMaker进行了测试。我试图从Kafka 0.8.2.2复制到Kafka 0.10.1.1。我无法让他们工作。在0.8.2.2至0.8.2.2上工作正常,在0.10.1.1至0.10.1.1上罚款。

MirrorMaker也不会将任何消费者偏移从旧到新同步。这意味着旧群集中消耗的任何消息都需要在新群集中再次使用。除非有某种TTL或您的应用程序逻辑可以满足重复的消息。但即使您的应用程序具有适合重复的逻辑,如果您需要重新处理数百万条消息,这将浪费资源。

我们尝试设置两个具有不同版本的实时群集,并使用MirrorMaker在它们之间进行同步,并让一些旧版本的消费者消耗旧群集和更新版本的消费者消耗新群集但现在已证明无法正常工作