如何编写Kafka消费者Java应用程序的性能测试？

Question

我是kafka的新手。我已经使用Spring Boot编写了一个kafka客户应用程序。该应用程序使用来自kafka的消息，对其进行处理并将其存储在DB中。

现在，我想为此消费者应用程序编写性能测试。该测试应该告诉我消费者应用程序的性能，例如在一定负载下处理消息所花费的时间。

我早些时候使用加特林编写了性能测试，这里有端点。但是在此应用程序中，我没有任何其他终结点。因此，如果我知道如何对该应用程序进行性能测试，则不胜感激。

Answer 1

您基本上需要将消息发布到Kafka队列中，并测量您的应用程序对消息进行处理的速度，适合进行此操作的任何工具都适用。

1. 例如kafka-console-producer script随每个kafka发行版一起提供。

2. 如果您擅长加特林，则可以使用Gatling-Kafka插件。

3. 还有Pepper-Box - Kafka Load Generator的Apache JMeter插件，这样您就不必编写任何代码。如果需要，请查看Apache Kafka - How to Load Test with JMeter文章以了解更多详细信息。

Answer 2

您可以使用Kafka随附的kafka-consumer-perf-test.sh脚本。您可以指定要读取的消息数，处理线程数以及任何常用的consumer configurations。该工具将输出消耗的数据量和吞吐量以及其他指标。