Storm Kafka Spout有很高的滞后

时间:2018-10-03 14:45:18

标签: java spring apache-kafka apache-storm

我正在使用Apache Storm 1.1.2和Kafka 0.11在Java 9中构建Spring应用程序

我注意到,在高负载(每秒2500条消息)下,kafka喷口的滞后时间非常长。卡夫卡喷口的并行度提示为3。滞后时间几乎等于喷口承诺的偏移量。

此延迟为拓扑每秒可以接收的最大邮件量设置了上限,这不是很大。有人知道解决方案吗?

更新:我还注意到,即使有10个工作程序,并行度提示为4,根据我在UI中的判断,负载也不会在不同的kafka spout执行程序之间分配。该主题有8个分区

1 个答案:

答案 0 :(得分:0)