卡夫卡的消费者无法跟上一些经纪人的步伐,而不是其他经纪人

时间:2017-12-20 11:06:56

标签: apache-kafka

我有一个主题有6个分区,分布在3个代理(即每个代理2个分区)。

我有6个独立工作节点的消费者(使用Storm)。

分区都接受20MB / s的消息。

2个分区能够在2个节点上向消费者输出20MB / s,但另外2个只能管理~15 MB / s。

文件缓存工作正常,任何代理都没有直接磁盘读取。

分区的偏移跟踪由消费者完成(即manualPartitionAssignment,没有提交给Kafka或Zookeeper)。

对于4个分区,可能导致2个代理的明显内部延迟?所有3个经纪人的负载情况,GC等似乎相似。 JVM中。我正在通过JMX Mbeans监视获取消费者操作等的所有方式,但无法解决这个问题。有什么指针吗?

0 个答案:

没有答案