标记协调员为团体死亡(Kafka)

时间:2017-04-21 04:54:19

标签: apache-kafka kafka-consumer-api

我的一项服务几个小时前就停止了工作。我重新启动了服务器,但这个消费者流程并没有注册Kafka。这是消费者启动时显示的内容:

2017-04-21 10:22:54.887  INFO 18036 --- [afka-consumer-1] o.a.k.c.c.internals.ConsumerCoordinator  : Revoking previously assigned partitions [] for group mysql-conversions-group
2017-04-21 10:22:54.890  INFO 18036 --- [afka-consumer-1] o.s.k.l.KafkaMessageListenerContainer    : partitions revoked:[]
2017-04-21 10:22:54.890  INFO 18036 --- [afka-consumer-1] o.a.k.c.c.internals.AbstractCoordinator  : (Re-)joining group mysql-conversions-group
2017-04-21 10:22:54.915  INFO 18036 --- [afka-consumer-1] o.a.k.c.c.internals.AbstractCoordinator  : Marking the coordinator li819-138.members.linode.com:9092 (id: 2147483646 rack: null) dead for group mysql-conversions-group

我有4个不同的消费群体,他们运行得很好。有什么想法吗?

更新

真的很奇怪。我们不得不重启我们的另一个消费者,重新启动后,另一个在一秒钟之前工作正常的消费者现在记录了同样的错误。 基本上,我们现在有两个消费者流程由于某种原因无法连接到Kafka。

1 个答案:

答案 0 :(得分:3)

回答我自己的问题:

终于开始工作了。这不是经纪人问题或消费者问题。 发生的事情是,我们在晚上8:30左右启用了两个Kafka经纪人的防火墙。已经与卡夫卡有联系的消费者工作正常。但是,当重新启动其中一个使用者时,他们无法连接到协调器节点。我们在Kafka经纪人身上都禁用了防火墙,数据立即转发给了消费者。这是一个临时修复ATM,但至少我们有一些东西。