我将多线程kafka使用者用于单个60个分区的kafka主题,每个使用者线程都映射到每个分区。使用完成后,使用KafkaConsumer.close()方法关闭每个使用方线程。
在使用相同消费者组id进行重新消费期间(每个消费者级别使用从头开始),有1或2个消费者线程无法从其分配的分区中消费。 如果提供了新的消费者组ID,则不会出现此问题。
因此,如果使用以下脚本删除使用者组。
bin / kafka-consumer-groups.sh --bootstrap-servers“ 3服务器:端口” --delete --group group1
是否是删除使用者组元数据的安全方法,并且还可以将活动的TCP连接与分配给该组的所有使用者断开连接。
请对此发表您的看法。
答案 0 :(得分:0)
如果您始终寻求本主题的开头,则可以禁用自动提交并将最早的“自动偏移量重置”设置为最早。然后,您的应用程序总是从头开始使用
否则,我个人将重置该论坛而不是将其删除
https://kafka.apache.org/documentation/#basic_ops_consumer_group
您只能在没有活动使用者的情况下重置和删除组