我有一个主题有6个分区,分布在3个代理(即每个代理2个分区)。
我有6个独立工作节点的消费者(使用Storm)。
分区都接受20MB / s的消息。
2个分区能够在2个节点上向消费者输出20MB / s,但另外2个只能管理~15 MB / s。
文件缓存工作正常,任何代理都没有直接磁盘读取。
分区的偏移跟踪由消费者完成(即manualPartitionAssignment,没有提交给Kafka或Zookeeper)。
对于4个分区,可能导致2个代理的明显内部延迟?所有3个经纪人的负载情况,GC等似乎相似。 JVM中。我正在通过JMX Mbeans监视获取消费者操作等的所有方式,但无法解决这个问题。有什么指针吗?