我已经读过,您不应该经常向Kafka高级别消费者提交抵消,因为每次提交都是对Zookeeper的写入,因此您可以放慢Zookeeper的速度,因为它在其仲裁中具有很强的一致性。
我的问题是,什么被认为是对Zookeeper的大量写入?我每秒发送10条消息,如果我能负担得起在每条消息之后提交,那么这会使我的系统更好,但是这很多吗?我真的不知道。在开始测试我们满载的kafka集群之前,我想要一些想法。
答案 0 :(得分:0)
我认为可以安全地说你可以按多个数量级增加你的写作。
这家伙做了数百万:http://www.slideshare.net/hyderabadscalability/apache-kafka-zookeeper-35-million-writes-per-second。在他的幻灯片中,他提到每秒350万,但没有提到硬件。
另一个人提到,使用三台机器的集群,每秒200万是可行的:https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines
其他人每秒100万:http://www.todaysoftmag.com/article/1364/high-performance-messaging-systems-apache-kafka