我在舞台环境上有一个3节点的Kafka集群设置。我在春季应用程序实例启动时使用相同的Kafka设置来创建使用者组。这样,由于我具有一组应用程序实例的集群设置,因此我实际上是在尝试同时建立8-10个消费者组(每个有10个消费者)。
在尝试执行与上述相同的操作时,我在这里确定的问题是,并非所有的消费群体都在Kafka中创建。总是至少有1或2,或者可能比缺少的消费群体还要多。
调试后,能够在Kafka内部日志中识别出我正在获取调试日志,该日志显示“ 消费者协调器查找失败…”和“ 协调器发现失败,刷新了元数据 >…”。这些日志语句只会针对那些无法启动的使用者组出现。
我想请大家向我提供一些建议,以进一步尝试使此配置正常运行。
此外,如果有人能提供关于同时建立Kafka消费者群体的任何意见,以及在某个时间点可能达到的程度,我们将不胜感激。我可以要求Kafka同时创建多少个消费群体?
谢谢!