Kafka消费者 - 如何添加主题

时间:2015-05-15 08:23:37

标签: add consumer kafka-consumer-api apache-kafka

在一个场景中,我有N个消费者(所有消费者都有1个流/没有分区),每个消费者都订阅了一组独立的主题,如何处理由生产者添加的新主题?

我应该为每个添加的主题创建新的消费者吗? 或者我可以将此主题添加到已经工作的消费者吗? (怎么做?)

或者更好地将1个消费者群体与N个消费者保持一致,而不是在N个消费者(流)之间划分主题?

1 个答案:

答案 0 :(得分:1)

如上所述,初始配置在同一个消费者群体的消费者之间划分的主题根本不存在。 消费者将无法互相失败=因为他们有不同的主题列表。卡夫卡将发布不必要的再平衡。

您无需为每个添加的主题添加消费者 - 您最好从头开始使用所有此类主题,将它们添加到公共路径,如/ MYTOPICS / *

您最好按分区划分主题,并根据需要添加新分区。 这将是透明的,不费吹灰之力。