使用kafka-consumer-groups.sh脚本删除使用者组是否是删除使用者组元数据的安全方法?

时间:2019-10-25 05:54:05

标签: apache-kafka kafka-consumer-api

我将多线程kafka使用者用于单个60个分区的kafka主题,每个使用者线程都映射到每个分区。使用完成后,使用KafkaConsumer.close()方法关闭每个使用方线程。

在使用相同消费者组id进行重新消费期间(​​每个消费者级别使用从头开始),有1或2个消费者线程无法从其分配的分区中消费。 如果提供了新的消费者组ID,则不会出现此问题。

因此,如果使用以下脚本删除使用者组。
bin / kafka-consumer-groups.sh --bootstrap-servers“ 3服务器:端口” --delete --group group1

是否是删除使用者组元数据的安全方法,并且还可以将活动的TCP连接与分配给该组的所有使用者断开连接。

请对此发表您的看法。

1 个答案:

答案 0 :(得分:0)

如果您始终寻求本主题的开头,则可以禁用自动提交并将最早的“自动偏移量重置”设置为最早。然后,您的应用程序总是从头开始使用

否则,我个人将重置该论坛而不是将其删除

https://kafka.apache.org/documentation/#basic_ops_consumer_group

您只能在没有活动使用者的情况下重置和删除组