我有这个管道：Kafka-＆gt; Logstash-＆gt; ElasticSearch-＆gt; Kibana
我找到了一个可以使用脚本“bin / kafka-producer-perf-test.sh”调用的生产者性能工具。
我想知道是否有人有任何测试性能端到端测试的建议？
感谢。
答案 0 :(得分：3)
您的管道Kafka->Logstash->ElasticSearch->Kibana涉及4个组件。 Kafka，Logstash，ElasticSearch，Kibana都有不同的用途。每个组件具有不同的性能数量和特征。
bin/kafka-producer-perf-test.sh你提到的是kafka性能测试工具，它只测量Kafka而不是其他人的性能。如果您已配置管道以读取，处理和显示使用上述测试工具生成的数据，那么您可以获得整体管道性能。这样您就无法找到管道中的限制组件。
我建议您配置一个复制管道所需的类似数据。 Kafka自定义制作人 - PepperBox是很好的工具。使用InfluxDB / graphite（或您选择的任何时间序列DB）部署所有组件的监控，并测量端到端吞吐量以及组件方式的吞吐量。
示例基准为YSB。这将有助于您开始使用。