为灾难恢复服务器设置Kafka镜像时丢失消息

Question

Producer.config

key.serializer=org.apache.kafka.common.serialization.StringSerializer
value.serializer=org.apache.kafka.common.serialization.StringSerializer
max.in.flight.requests.per.connection=1
retries=3
acks=-1

步骤：

1. 在server1上启动Kafka镜像并推送100条消息
2. 验证了server2上的消息。
3. 关闭server1上的kafka镜像并推送100条消息
4. 几分钟后，在server1上启动kafka镜像。
5. 许多未复制到server2的消息

如果有人可以帮助我提供详细的配置信息，我将不胜感激

Answer 1

您需要确保consumer.config在重启后使用相同的group.id，并且如果要在重启后获取所有消息，请确保auto.offset.reset=earliest

旁注：MirrorMaker（1.0）并非用于灾难恢复，而只是盲目复制主题。对于多个群集之间的容错，MirrorMaker 2具有更多选项。