卡夫卡是否适合大量客户？

Question

我知道Kafka可以处理大量的流量。但是，它对于大量并发客户端的扩展程度如何？

每个客户都有自己独特的group_id（因此Kafka会跟踪每个客户的偏差）。

Kafka 0.9+是否存在内部存储偏移的问题？

对于Kafka 0.8而言，存储在Zookeeper中的偏移会是一个问题吗？

Answer 1

LinkedIn等一些Kafka用户过去曾报道过一个Kafka经纪人可以支持~10K客户端连接。此数字可能因硬件，配置等而异。

只要请求率不是太高，限制因素可能只是操作系统中配置的open-file-descriptors限制，请参阅例如http://docs.confluent.io/current/kafka/deployment.html#file-descriptors-and-mmap了解更多信息。