如果整个集群都崩溃了，卡夫卡的消费者群体会怎样？

Question

我们有一个消费者服务，该服务始终尝试使用消费者组从主题中读取数据。由于重新部署，我们的Kafka群集会定期关闭并重新创建。

每当集群再次出现时，我们就会发现，尽管先前的主题（很可能是从zookeeper那里获取的）都没有，但先前的消费者组并没有创建。因此，由先前的使用者组创建的我们正在运行的使用者流程会卡住，并且永远不会出现。

这是消费者群体的行为吗？还是我们需要在某个地方启用配置？

任何帮助将不胜感激。

Answer 1

Kafka经纪人会保留健康的消费者和消费者群体的缓存，如果整个集群被破坏/重新创建，它就不再了解那些消费者和群体（包括抵消额）。消费者将必须重新连接并重新建立组，并从主题开始偏移。

从操作上讲，保持Kafka集群长期运行更有意义，并在version upgrades中进行rolling fashion，这样就不会中断服务。