Kafka Streams应用程序基准测试

时间:2019-10-23 09:47:20

标签: apache-kafka benchmarking apache-kafka-streams

我想对我的kafka stream应用程序进行基准测试,该应用程序具有复杂的拓扑结构,可以处理来自多个主题的数据(35)。

是否有任何工具,应用程序可以帮助完成此任务?

1 个答案:

答案 0 :(得分:-1)

我认为您需要分别对这两个层进行基准测试。应用程序和Kakfa拓扑.g

要对应用程序进行基准测试,建议使用JMeter

要在任何设置或配置中对Kafka进行基准测试,您可以使用Kafka随附的负载生成工具来执行此操作。

kafka-producer-perf-test

kafka-consumer-perf-test.

kafka-*-perf-test工具可以多种方式使用。通常,期望将这些工具用于测试或开发集群。

•测量读取和/或写入吞吐量。

•根据特定参数(例如消息大小)对集群进行压力测试

•负载测试,用于评估特定指标或确定集群配置更改的影响。

我们需要对生产者和消费者进行负载测试,以得出在给定时间内生产者可以生产多少消息以及消费者可以消费多少消息。

我们应该寻找的关键统计数据如下:

  • 数据量的吞吐量(消息/秒)
  • 消息数量的吞吐量(消息/秒)
  • 总消息
  • 总数据