Kafka使用者组describe命令将某些分区的偏移量显示为'-'

时间:2019-10-30 06:43:24

标签: apache-kafka kafka-consumer-api

我有一个包含50个分区的主题,并且有一个消费群体正在收听此主题。我正在使用以下命令查看偏移量

./kafka-consumer-groups.sh --bootstrap-server <Broker_IP>:<Broker port> --describe --group <consumer-group name> | grep <topic name>

当我发布一条消息时,可以说我当前的偏移量是100。我的应用程序读取该消息。但是经过一段时间的不活动之后,当我使用相同的命令时,当前偏移量将更改为“-”,而在使用相同的命令再经过一段时间后,详细信息将不会显示。

这会导致卡夫卡邮件丢失吗?

1 个答案:

答案 0 :(得分:0)

这通常意味着该组正在重新平衡并且不读取任何数据。

是丢失数据(即不处理数据)还是读取重复的消息取决于消费者应用程序的设置,例如auto.reset.offset以及提交偏移量的频率(如果有的话)。

随着时间的流逝,基于保留设置,主题中的数据可能会减少,在这种情况下,由于Kafka删除数据,您将丢失数据。