Question

我面临一个奇怪的问题，我的镜像制作者能够镜像目标群集中的主题名称，但是当我尝试使用消息时，我看不到任何消息。以下是我的配置文件 -

producer.config

bootstrap.servers=dest_broker_ip:9092,dest_broker_ip:9092
acks=1
batch.size=100
max.in.flight.requests.per.connection=1
retries=1000000
client.id=mirror_maker_producer

consumer.config

bootstrap.servers=source_broker_ip:9092,source_broker_ip:9092,source_broker_ip:9092    
exclude.internal.topics=true
group.id=test-consumer-group_3
client.id=mirror_maker_consumer

然后我使用以下命令启动我的镜像制作工具

bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config config/consumer.config --producer.config config/producer.config --whitelist=".*"

启动镜像制作工具后，我会转到我的源群集并使用以下命令创建一个主题以及一些消息

bin/kafka-verifiable-producer.sh --topic u39 --max-messages 2000 --broker-list 10.******:9092

这将创建一个主题u39，并将向其推送2000条消息。现在，如果我在同一个源集群上运行使用者，我可以使用消息来确认消息是在源集群中生成的

我现在转到我的目标集群并尝试创建一个具有相同名称的主题，即u39这将返回一个错误，说明主题已经存在，这确认镜像制造商将主题从源集群复制到目标集群但是当我尝试使用时目标集群上的消息通过以下命令

bin/kafka-console-consumer.sh --zookeeper 10.200.14.117:2181 --topic u39 --from-beginning

我没有看到任何消息。不确定有什么不对，任何帮助/方向都非常感谢。

更新1 - 我正在使用Kafka 1.0.0

更新2 - 两个集群完全隔离，设置在AWS上，一个集群在east-1中，另一个集群在west-2中。再次单独地，我能够在两个集群上生成和使用消息。

Answer 1

我认为你正在混合来自不同版本的控制台消费者的语法。现在默认值应该是新的使用者，新的使用者需要一个引导服务器而不是ZooKeeper。

尝试：

kafka-console-consumer.sh --bootstrap-server 10.******:9092 --topic u39 --from-beginning

卡夫卡镜子制造商没有工作

1 个答案: