我是kafka的新手,目前正在研究它。我在golang中使用kafka-go创建生产者和消费者。目前,我能够创建生产者,但我希望在创建主题的生产者后而不是每次都创建消费者。意味着对于每个主题,仅创建一次消费者。同样,当需要为主题创建更多使用者以平衡负载时,也会创建该主题。有什么办法可以通过goroutine或Faktory来安排它?
答案 0 :(得分:0)
您不应该将生产者/消费者耦合在一起,Kafka让您使生产者/消费者完全脱钩。
即使该主题不存在,您也可以运行它的使用者(Kafka将创建它,您将得到一个领导者不可用警告),并在需要时运行生产者。
关于扩展,其想法是创建的分区尽可能多(希望使用的用户数量)。
这里有一些有关主题分区策略的文章: https://blog.newrelic.com/engineering/effective-strategies-kafka-topic-partitioning/
您在网络上有很多相关读物。
Yannick