kafka主题可以处理多少个消费群体？

Question

假设我有一个涉及约10个分区的kafka主题，我了解每个消费者群体在任何给定时间都应有10个消费者从该主题中进行阅读，以实现最大的并行性。

但是，我想知道某个主题在任何给定时间点可以处理的消费者群体数量是否也有任何直接规则。 （最近在一次采访中有人问我）。据我所知，这取决于代理的配置，以及它在任何给定时间点可以处理多少个连接。

但是，只是想知道在给定的时间点可以扩展到多少最大的消费群体（每个拥有10个消费群体）？

Answer 1

在卡夫卡，可以针对特定主题实例化的消费者群体数量没有没有明确限制。但是，您应该知道，消费者群体越多，对网络利用的影响就越大。

Answer 2

Conceptually you can think of a consumer group as being a single logical subscriber
that happens to be made up of multiple processes. As a multi-subscriber system,
**Kafka naturally supports having any number of consumer groups for a given topic**
without duplicating data (additional consumers are actually quite cheap).

如Kafka 0.9的API文档中所述，Kafka可以支持给定主题的任何数量的消费者组。

链接：http://kafka.apache.org/090/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html

Answer 3

正如上面所说，最多几千应该没问题。 对于那些将在这里登陆（像我一样）想知道成千上万个连接（例如将 IoT 设备直接连接到 kafka）的人来说，似乎 kafka 不是为此而设计的，至少根据 this blog。