Question

我要在2个kafka群集之间设置一个镜子制造商。

Kafka版本：kafka_2.11-2.1.0

我的server.properties有auto.create.topics.enable=true。

我正在目标群集上运行镜像制作器。

但是当源集群添加一个主题时，不会自动创建新主题。我必须最终手动创建它们。甚至在手动创建后，源集群的记录都不会填充在这个新的主题中，除非或除非我不重新启动我的镜像制造器。重新启动后，它将在源中插入数据后立即开始复制。

Mirror Maker命令

./kafka-mirror-maker.sh --consumer.config consumer.properties  --producer.config producer.properties  --whitelist '.*'  --num.streams 2

Consumer.properties

bootstrap.servers=!source_host_name_with_port!
group.id=consumer_replicator_group
client.id=mirror_maker_consumer
exclude.internal.topics=true

Producer.properties

bootstrap.servers=!destination_host_name_with_port!
acks=1
batch.size=100
client.id=mirror_maker_producer

请提出任何想法。

Answer 1

在Kafka网站上有记录，它是首先在目的地创建主题的。如果不这样做，那么您将在目标群集上获得默认的分区和复制计数（通常与源主题不匹配）