如何在向主题推送/消费消息时测量kafka上的性能指标

时间:2015-02-19 10:02:22

标签: apache-kafka

使用制作人推送了消息。它向该主题推送了100000条消息。

使用命令:bin / kafka-producer-perf-test.sh --broker-list localhost:9092 --messages 100000 --topic perfAtlasTopic获取以下生产者指标。

start.time,end.time,compression,message.size,batch.size,total.data.sent.in.MB,MB.sec,total.data.sent.in.nMsg,nMsg.sec [2015-02-19 00:33:44,133] WARN属性reconnect.interval无效(kafka.utils.VerifiableProperties) 2015-02-19 00:33:44:020,2015-02-19 00:33:46:822,0,100,200,9.54,3.4035,100000,35688.7937

使用命令:bin / kafka-consumer-perf-test.sh --zookeeper localhost:2181 --messages 100000 --topic perfAtlasTopic --threads 10.获取以下消费者指标:

start.time,end.time,fetch.size,data.consumed.in.MB,MB.sec,data.consumed.in.nMsg,nMsg.sec 2015-02-19 00:53:13:480,2015-02-19 00:53:53:128,1048576,289.0332,8.3420,100000,2886.1695

在生产者/消费者推送/使用主题消息之前获取上述指标。

在推送/使用主题消息时,有没有办法衡量性能指标?

由于

1 个答案:

答案 0 :(得分:1)

该数字显示生成/消费您指定的消息数量的指标(例如,在您的情况下为100000)。在您的情况下,它显示开始/结束时间,提取大小,消耗的MB数据(总共100000条消息),MB /秒,消耗的消息总数(当然为100000)和生成/消耗100000条消息的消耗的消息数/秒。如果您希望在流式传输数据时继续跟踪指标,请尝试以下操作:

for i in `seq 1 1000`; do kafka-producer-perf-test.sh --broker-list localhost:9092 --messages 100000 --topic perfAtlasTopic; done

这将运行测试1000次。您可以更改要运行的次数。