在慢速链接上运行kafacat的性能问题

Question

librdkafka 使用者实现（版本0.11）中的 fetch.max.message.bytes 参数存在奇怪的性能问题。我使用kafkacat通过慢速网络链接（4 Mbps）运行一些测试并收到以下结果：

• 1024字节= 1.740s
• 65536 bytes = 2.670s
• 131072 bytes = 7.070s

当我开始调试协议消息时，我注意到了一种获得高RTT值的方法。

|SEND|rdkafka| Sent FetchRequest (v4, 68 bytes @ 0, CorrId 8) 
|RECV|rdkafka| Received FetchResponse (v4, 131120 bytes, CorrId 8, rtt 607.68ms)

似乎 fetch.max.message.bytes 值的增加导致网络饱和度非常高，但每个请求只携带一条消息。

另一方面，当我尝试使用kafka-console-consumer时，一切都按预期运行（我通过同一网络链接每秒获得500条消息）。

任何想法或建议在哪里查看？

Answer 1

您最有可能点击issue #1384这是新v0.11.0使用者的错误。在慢速链接或MessageSets /批次消息很少的情况下，该错误尤其明显。

正在进行修复。