Sarama Kafka的消费者并未用尽所有带宽

时间:2019-01-24 22:55:23

标签: go apache-kafka sarama

我们使用Sarama's kafka-console-consumer进行性能测试。

在不更改任何Sarama配置的情况下,上述程序占用了EC2实例带宽的1/4。如果我们在同一程序中再创建3个sarama.NewConsumer,并且每个程序消耗一个不重叠的分区子集并将消息发送到同一通道,则该程序将耗尽整个带宽。

基于此我们知道

  • 我们的kafka可以支持全部吞吐量以饱和EC2带宽
  • 转到频道可以全速支持发送/接收消息
  • 仅使用1位sarama使用者时不受CPU限制

没有其他事情在运行,pprof块分析仅显示chan / select处于阻塞状态,而互斥锁分析则不显示任何内容。我们不知道什么限制了单个sarama消费者的消费率。

有人遇到过吗?

0 个答案:

没有答案