卡夫卡主题在删除10秒后重新出现

时间:2017-10-26 08:22:46

标签: apache-kafka kafka-consumer-api

我面临kafka主题删除的问题。

使用kafka rest API创建/删除主题并生成&消费消息。我试图删除主题将被删除的主题,但在一段时间后说10秒,主题再次出现。

检查了消费者群体的偏移量,LAG列为负值。

docker run --net = host --rm confluentinc / cp-kafka:3.1.0 kafka-consumer-groups --zookeeper localhost:2181 --describe --group grp1

GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG OWNER

grp1 topic1 0 3 0 -3

2 个答案:

答案 0 :(得分:3)

似乎删除一个kafka主题仍然有一些错误。

*永久删除主题的唯一方法如下:*

  • 停止经纪人

  • 删除磁盘上的目录

sudo rm -rf kafka_data_dir/topic_name

  • 从zookeeper中删除主题:

bin/zkCli.sh - 启动zookeeper shell

rmr /config/topics/topic_name

rmr /brokers/topics/topic_name

rmr /admin/delete_topics/topic_name

答案 1 :(得分:0)

如果任何Producer [或] Consumer向发送/订阅/分配请求向Kafka代理发出请求,您可能已启用auto.create.topics.enable属性自动创建主题。

删除主题后,Consumer / Producer向代理发出请求,然后代理又创建了一个新主题(具有相同名称)。

您可以禁用该属性(默认值:true)并重新测试您的设置。使用AdminUtils创建主题。在最新版本的Kafka中,主题删除得到了很大改善。