如何使Kafka使用者检测不存在的主题并将其从元数据中删除？

Question

我的KafkaConsumer订阅了主题模式。但是，在删除一些过时的主题时，由于从客户客户端仍将已删除的主题保留在其主题列表中，因此在从集群中获取元数据时会遇到UNKNOWN_TOPIC_OR_PARTITION异常。这些过时的主题信息永远不会在使用者中过期，因此我必须重新启动使用者以将其删除。有什么想法让消费者在集群中不存在时删除该元数据中的主题？

Answer 1

Kafka客户端会定期刷新其元数据（默认情况下每5分钟刷新一次）。下次客户端将刷新其元数据时，它将删除已从其缓存中删除的主题。

您可以配置使用metadata.max.age.ms刷新元数据的频率，请参见Consumer configs。