kafka性能在添加更多消费者或生产者时减少

Question

我有3台服务器，它们之间有10GB连接，在2台服务器上运行Kafka集群，并在第三台服务器上生成一些测试......

当我运行单个java生成器（在第三个不在Kafka集群中的服务器）时，发送100万条消息需要3秒，但是当我运行另一个java生成器（具有不同主题）时，两个生产者都需要6秒来发送消息

我确定网络连接不是瓶颈（它是10GB）

那么为什么会出现这个问题？我怎么能解决这个问题（我希望两个制作人都花3秒钟）？

Answer 1

听起来你从两个节点的kafka集群中获得了一致的333,333个消息/秒的性能，其中zookeeper在与2个kafka代理相同的2台机器上运行。你没有说这些消息的大小，你正在使用什么样的磁盘，或者你有多少内存，或者你是用acks = all发布，还是你正在使用什么编程语言（我假设是java）但实际上听起来就像一致的结果一样，可能是单个客户机上绑定的代理或cpu上的磁盘IO。