Question

我正在尝试在两个运行版本0.8.2.1的AWS Kafka / Zookeeper群集之间镜像Kafka数据。

我可以从目标群集Kafka实例，列出主题等访问源群集Zookeepers。但是在尝试运行此命令时：

/opt/kafka/bin/kafka-run-class.sh kafka.tools.MirrorMaker 
                                  --consumer.config /opt/kafka/config/mirror-consumer.properties 
                                  --num.streams 1 
                                  --producer.config /opt/kafka/config/mirror-producer.properties 
                                  --whitelist=".*"

我收到以下错误：

WARN Fetching topic metadata with correlation id 0 for topics [...] from broker [...] failed (kafka.client.ClientUtils$)
java.lang.ArrayIndexOutOfBoundsException: 11
    at kafka.api.TopicMetadata$$anonfun$readFrom$1.apply$mcVI$sp(TopicMetadata.scala:38)
    at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala:78)
    at kafka.api.TopicMetadata$.readFrom(TopicMetadata.scala:36)

调试此错误的最佳方法是什么？我在线阅读了几篇帖子，但它们表明了从网络连接到磁盘空间问题的各种原因。我很感激你在这件事上的帮助。

Answer 1

显然Kafka 0.8.2.1版本中存在一个严重错误，自2015年以来尚未修复： https://issues.apache.org/jira/browse/KAFKA-2082 ＆＃34;由于Leader不是本地分区＆＃34;

而失败

看起来没有办法解决将Kafka升级到最新版本的问题。基于我在网上发现的其他帖子，看起来Kafka镜像在不同版本的Kafka之间不起作用，所以这是另一件需要考虑的事情。

Kafka镜像无法找到Set的前导（ArrayIndexOutOfBoundsException：11）

1 个答案: