我面临kafka主题删除的问题。
使用kafka rest API创建/删除主题并生成&消费消息。我试图删除主题将被删除的主题,但在一段时间后说10秒,主题再次出现。
检查了消费者群体的偏移量,LAG列为负值。
docker run --net = host --rm confluentinc / cp-kafka:3.1.0 kafka-consumer-groups --zookeeper localhost:2181 --describe --group grp1
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG OWNER
grp1 topic1 0 3 0 -3 无
答案 0 :(得分:3)
似乎删除一个kafka主题仍然有一些错误。
*永久删除主题的唯一方法如下:*
停止经纪人
删除磁盘上的目录
sudo rm -rf kafka_data_dir/topic_name
bin/zkCli.sh
- 启动zookeeper shell
rmr /config/topics/topic_name
rmr /brokers/topics/topic_name
rmr /admin/delete_topics/topic_name
答案 1 :(得分:0)
如果任何Producer [或] Consumer向发送/订阅/分配请求向Kafka代理发出请求,您可能已启用auto.create.topics.enable
属性自动创建主题。
删除主题后,Consumer / Producer向代理发出请求,然后代理又创建了一个新主题(具有相同名称)。
您可以禁用该属性(默认值:true)并重新测试您的设置。使用AdminUtils
创建主题。在最新版本的Kafka中,主题删除得到了很大改善。