使用kafka-go安排在Kafka中创建消费者的时间表

时间:2019-08-27 10:11:38

标签: go apache-kafka kafka-consumer-api

我是kafka的新手,目前正在研究它。我在golang中使用kafka-go创建生产者和消费者。目前,我能够创建生产者,但我希望在创建主题的生产者后而不是每次都创建消费者。意味着对于每个主题,仅创建一次消费者。同样,当需要为主题创建更多使用者以平衡负载时,也会创建该主题。有什么办法可以通过goroutine或Faktory来安排它?

1 个答案:

答案 0 :(得分:0)

您不应该将生产者/消费者耦合在一起,Kafka让您使生产者/消费者完全脱钩。

即使该主题不存在,您也可以运行它的使用者(Kafka将创建它,您将得到一个领导者不可用警告),并在需要时运行生产者。

关于扩展,其想法是创建的分区尽可能多(希望使用的用户数量)。

这里有一些有关主题分区策略的文章: https://blog.newrelic.com/engineering/effective-strategies-kafka-topic-partitioning/

您在网络上有很多相关读物。

Yannick