我会定期检查多个kafka通话kafka-consumer-groups.sh
的状态(每分钟一次)。
通常,当前偏移的总和正在稳步增长。
很少(可能是100个中的5个),“当前偏移”的总和减少了。在这种情况下,我得到负处理速度。公式:
速度=(“电流偏移”之和(电流)减去“电流之和” offset“(previous))以秒为单位
通过。你能说出为什么可以减少当前偏移。
示例kafka-consumer-groups.sh输出:
./kafka-consumer-groups.sh --new-consumer --bootstrap-server g81:9092 --group fGroup -describe GROUP, TOPIC, PARTITION, CURRENT OFFSET, LOG END OFFSET, LAG, OWNER fGroup, mOutput, 1, 87665473, 87665473, 0, null-0de00d94-dbbf-4593-8e4e-26e305524be7_10.1.0.11/10.1.0.11 fGroup, mOutput, 7, 87665191, 87665191, 0, null-947c0e97-92ac-471d-a3e0-a059a952b289_10.1.0.11/10.1.0.11 fGroup, mOutput, 3, 87665015, 87665015, 0, null-45684fef-19c6-46ed-b7b4-16127089f88d_10.1.0.11/10.1.0.11 fGroup, mOutput, 5, 87665205, 87665205, 0, null-6fb529e0-59f0-4bc5-9651-a9195d769a09_10.1.0.11/10.1.0.11 fGroup, mOutput, 2, 87665402, 87665402, 0, null-440a96ff-98ea-4cfb-b2f6-1cf05966b2f7_10.1.0.11/10.1.0.11 fGroup, mOutput, 6, 87665239, 87665239, 0, null-89b3ce22-092e-437a-b87b-0b2e38e18806_10.1.0.11/10.1.0.11 fGroup, mOutput, 9, 87665750, 87665750, 0, null-f1cb1482-7e01-40ee-a658-bccd8c8572ac_10.1.0.11/10.1.0.11 fGroup, mOutput, 8, 87665130, 87665130, 0, null-c7a6763c-2547-4121-9051-1ff718afbd47_10.1.0.11/10.1.0.11 fGroup, mOutput, 0, 87665391, 87665391, 0, null-04cd35a1-e6cd-475a-8af4-035b2af8088a_10.1.0.11/10.1.0.11 fGroup, mOutput, 4, 87665233, 87665233, 0, null-64f1dd24-7c78-49d4-aa3a-fab4b34bd213_10.1.0.11/10.1.0.11