Question

这是关于kafka MirrorMaker工具。

我在两台机器上配置了kafka。

来源：
目的地：vm [仅限来源的ubuntu]

来源和目的地的Kafka都是相同版本的kafka [kafka_2.11-0.9.0.0]

在源和目的地，各个zookeeper和kafka服务器正在运行。

我想复制/制作从源到目标的主题镜像。

以下是我使用的命令：

./bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config ./config/mirror_consumer.properties --producer.config ./config/mirror_producer.properties --whitelist='.*' &>mirror-log.log

配置文件包含

a. mirror_consumer.properties

    #host:port of kafka source zookeeper to be mirrored
    zookeeper.connect=source-ip:3181
    zookeeper.connection.timeout.ms=1000000
    consumer.timeout.ms=-1
    security.protocol=PLAINTEXT
    group.id=kafka-mirror

    where, 

        source-ip is ip address of source machine.
        my zookeeper at source is running at port 3181.

b. mirror_producer.properties

    # mirror broker (local) at the destination
    bootstrap.servers=localhost:9092
    producer.type=async

   where,

       localhost, resolves to destination i.e. ubuntu vm
       and kafka is runnning on default port i.e. 9092

最初，我创建了一些名称为source1和source2的主题。从源机器与命令行中的相应生产者我已经发送了一些消息到创建的主题。

从目标执行MirrorMaker命令后

我可以看到目的地的消费者正在尝试使用这些主题。不幸的是，目的地的消费者无法从代理处读取每个主题的分区。

请查看下面的示例日志条目：

[2016-05-06 13:25:00,931] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462521159741-6c2475c3-0 for topic source1 (kafka.consumer.RangeAssignor)
[2016-05-06 13:25:00,931] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462521295337-c3742307-0 for topic source1 (kafka.consumer.RangeAssignor)
[2016-05-06 13:25:00,931] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462517840512-a134d048-0 for topic source2 (kafka.consumer.RangeAssignor)
[2016-05-06 13:25:00,932] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462519206297-63bc9c58-0 for topic source2 (kafka.consumer.RangeAssignor)
[2016-05-06 13:25:00,932] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462519513695-bee7950e-0 for topic source2 (kafka.consumer.RangeAssignor)

如果您发现任何遗漏/需要修复的事情，请告诉我。

这将是很好的帮助。

提前致谢。

Answer 1

当主题中的分区数与馈送到同一主题的使用者组中的使用者数量不匹配时，我们会遇到此问题。

kafka MirrorMaker：消费者线程kafka-mirror消耗的代理分区

1 个答案: