如果整个集群都崩溃了,卡夫卡的消费者群体会怎样?

时间:2018-08-06 11:38:33

标签: apache-kafka kafka-consumer-api apache-kafka-connect

我们有一个消费者服务,该服务始终尝试使用消费者组从主题中读取数据。由于重新部署,我们的Kafka群集会定期关闭并重新创建。

每当集群再次出现时,我们就会发现,尽管先前的主题(很可能是从zookeeper那里获取的)都没有,但先前的消费者组并没有创建。因此,由先前的使用者组创建的我们正在运行的使用者流程会卡住,并且永远不会出现。

这是消费者群体的行为吗?还是我们需要在某个地方启用配置?

任何帮助将不胜感激。

1 个答案:

答案 0 :(得分:1)

Kafka经纪人会保留健康的消费者和消费者群体的缓存,如果整个集群被破坏/重新创建,它就不再了解那些消费者和群体(包括抵消额)。消费者将必须重新连接并重新建立组,并从主题开始偏移。

从操作上讲,保持Kafka集群长期运行更有意义,并在version upgrades中进行rolling fashion,这样就不会中断服务。