端到端测试BigData管道的工具？

Question

我有这个管道：Webserver + rsyslog-＆gt; Kafka-＆gt; Logstash-＆gt; ElasticSearch-＆gt; Kibana

我找到了这些工具来帮助测试我的管道：

1. 通过使用jmeter-ec2
旋转jmeter EC2实例来生成网络服务器负载
2. 在Kafka上生成负载，并使用Sangrenel
帮助绘制吞吐量图表

我想知道是否有人有任何其他建议来测试组件或端到端测试？感谢。

Answer 1

好问题！我正在寻找类似的东西，但可能会解决一个简单的家庭解决方案。

1. 使用将数​​据写入Kafka的螺栓设置Storm群集。需要注意的一件事是id / key，因此您的消息分布在多个分区中。 Storm的原因是分发了一组发布者。作为Storm的替代品，您可以让多个生产者使用KafkaAppender
2. 一旦您了解了Kafka的性能，请将Logstash连接到已加载的主题，并让它尽快消失。您可以在KafkaManager中找到一些有用的信息，或者连接到JMX（许多工具）
3. 监控Elastic的最简单方法是Marvel
4. Kibana的性能取决于查询返回的数据量，但最小间隔仍为5秒。

根据我的经验，logstash性能将取决于数据大小和grok复杂性。 Elastic的性能主要是簇大小，分片/模板配置。您设置中最快的组件将始终是Kafka（由ack和Zookeeper设置限制）

此外，如果您控制数据生成，您可以比较生成的记录时间与logstash的@timestamp和测量滞后。