如何有效地为卡夫卡消费者群体实施不断更新的主题

Question

我正在尝试创建一个“警报”应用程序，该应用程序必须处理来自多个kafka主题的信息。存在数千个主题，但实际上，基于警报配置，在任何给定时间仅需要处理几百个主题。如果我使用“subscribe”不断更新我的主题列表，那么重新平衡的延迟可能会延迟我的警报。

如何有效实施订阅一组不断变化的主题的消费者群体？

Answer 1

我说今天的答案是使用assign（）而不是subscribe，并手动添加新主题分区，根据需要删除任何未使用的分区。虽然向后退一步并询问是否更有意义的主题数量是静态的，并确定要通过键监控的事情可能会有所帮助。这可能会让你的生活更轻松。