删除__Consumer_offset主题表单Kafka

时间:2019-02-13 18:14:53

标签: apache-kafka apache-zookeeper kafka-consumer-api kafka-producer-api

我正试图删除Kafka主题__Consumer_offset,因为它给我的经纪人造成了很多混乱。 当我这样做时,它说不能将该主题标记为删除。

我正在使用zookeeper cli删除它,例如rmr / brokers / topic __consumer_offset,但是它不起作用!

2 个答案:

答案 0 :(得分:1)

groups_copy是一个kafka内部主题,不允许通过delete topic命令删除。它包含有关每个主题的承诺偏移量的信息:每组使用者(groupID)的分区。如果要彻底清除它,则必须删除Zookeeper __consumer_offsets位置。这意味着,您将丢失所有元数据。

此外,如果您只想摆脱现有的消费群体,则可以重置偏移量或考虑删除它们。

答案 1 :(得分:0)

您不能删除该主题。这是一个内部主题,不应手动删除。

如果必须这样做,则您将必须手动清理/删除数据目录。当您部署Kafka代理和Zookeeper时,它将创建数据目录。

注意:通过删除数据目录,您将失去所有主题和相关数据。因此,这在生产环境中不可行。