Kafka 0.10复制性能下降

Question

我正在尝试对Kafka Cluster进行基准测试。我是新手。我构建了3个节点集群。每个节点都有一个分区。我没有更改默认代理设置。我只是直接从官方网站上复制了生产者和消费者代码。

当我使用复制1和分区3创建主题时，我能够达到每秒170 MB。吞吐量。当我使用复制3和parititon 3创建主题时，我几乎看不到每秒30 MB的吞吐量。

然后我在此链接https://kafka.apache.org/documentation#prodconfig中应用了生产配置。结果变得更糟。

你能与我分享你的经历吗？

disk type   replication insert count    one message length  elapsed time    req per sec concurreny  throughput MB
hdd 1   10,000,000  250 25  400,000 1   95.36743164
hdd 1   10,000,000  250 28  357,000 2   170.2308655
hdd 1   10,000,000  250 55  175,000 4   166.8930054
hdd 1   1,000,000   250 22  45,400  8   86.59362793
hdd 1   10,000,000  250 22  85,000  8   162.1246338


hdd 3   1,000,000   250 10  100,000 1   23.84185791
hdd 3   1,000,000   250 19  55,000  2   26.2260437
hdd 3   1,000,000   250 30  32,000  4   30.51757813
hdd 3   1,000,000   250 45  20,000  8   38.14697266
hdd 3   10,000,000  250 559 18,000  8   34.33227539

Answer 1

增加复制时，您应该期望性能下降。您的初始运行具有如此高的吞吐量，因为Kafka不需要将消息数据复制到多个不同的分区。当你增加复制因子时，你基本上就交易速度来保持耐久性。