Apache Kafka的数据流生成器

Question

我正在为Kafka-broker搜索一个简单的事件/数据流生成器，以便对Hadoop框架的流工具运行一些性能测试。到目前为止找不到任何合适它应该能够在非常短的时间（毫秒）内发送大量（大多数相等的）消息。

谢谢！

Answer 1

您可以使用Kafka 0.9+附带的kafka-producer-perf-test.sh工具。它允许您生成大量给定大小的消息。此工具只是一个生产者，允许您发送一批消息并收集统计信息。

在我们的性能测试中，我们使用此工具（或我们自己的性能生成器，但与此类似），当我们想要增加负载时，我们会并行运行多个实例到不同的主机。