调整kafka性能以获得100万条消息/秒

Question

我正在使用3台VM服务器，每台服务器有16个核心/ 56 GB Ram / 1 TB，用于设置kafka集群。我使用Kafka 0.10.0版本。我在其中两个上安装了一个经纪人。我创建了一个包含2个分区，1个分区/代理且没有复制的主题。

我的目标是每周参加1 000 000条消息。

我使用kafka-producer-perf-test.sh脚本进行了测试，得到了150 000 msg / s和204 000 msg / s。

我的配置是：

-batch size：8k（8192）

- 消息大小：300字节（0.3 KB）

-thread num：1

生产者配置：

-request.required.acks = 1

-queue.buffering.max.ms = 0＃lingers.ms = 0

-compression.codec =无

-queue.buffering.max.messages = 100000

-send.buffer.bytes =亿

任何帮助都将获得1 000 000 msg / s

谢谢

Answer 1

您正在运行旧版本的Apache Kafka。最新版本（0.11）有改进，包括性能。

您可能会发现这也很有用：https://www.confluent.io/blog/optimizing-apache-kafka-deployment/