Kafka：当整个Kafka集群崩溃时会发生什么？

Question

我们正在使用Kafka测试生产者和消费者。几个问题：

• 当所有经纪人都倒闭而他们根本没有回应时会发生什么？

• 制片人是否需要继续ping Kafka经纪人以了解它何时重新上线？或者，生产者应用程序是否有更优雅的方式来了解？

• Zookeeper如何帮助解决所有这些问题？如果ZK也失败怎么办？

Answer 1

如果所有经纪人都已完成，那么您的群集当然不会收到任何内容。我认为制作人也会失败，因为动物园管理员的心脏位不会被接收。 我敢肯定，如果zookeeper关闭，你的系统将不再起作用。这是卡夫卡的弱点之一，他需要动物园管理员才能工作。

Answer 2

如果一个或多个经纪人关闭，生产者将重新尝试一段时间（根据设置）。在此期间，一个或多个消费者将无法阅读任何内容，直到相应的经纪人开始。

但是如果群集关闭的时间比您的总重试时间长，那么您可能需要找到一种方法来重新发送这些失败的消息。

Answer 3

这是Kafka Mirroring（MirrorMaker工具）出现的一种情况。

https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=27846330