在自动化测试期间跟踪性能的工具

Question

是否有任何工具可以跟踪自定义软件的性能？

按性能我的意思是不使用CPU或内存，而是在自动化测试期间执行特定操作。

例如，

测试 - 13/02/2018
读数据库 - 1000000行 - 2分钟
修改数据库 - 1000000行 - 30分钟

测试 - 15/02/2018
读数据库 - 1000000行 - 3分钟
修改数据库 - 1000000行 - 50分钟

如果某些操作的完成时间超过平均值，该工具应通知该工具，并提供统计信息，图形，分析以及性能如何更改。

我查看了测试管理系统 - TestLink，TestRail，Zephyr，但我没有找到这样的东西。 我不是在寻找监控工具，我正在寻找分析工具。

Answer 1

我有一组SoapUI测试，我针对每个版本运行这些测试以监控一段时间内的性能。

我运行测试并将输出粘贴到Excel中。我的电子表格包含以前的所有结果，然后我可以使用它来查看趋势和统计数据。

Answer 2

Dynatrace可以监控数据库访问和其他特定于应用程序的指标的性能。

如documentation中所述，测量可以作为单元测试框架（如JUnit）和GUI自动化工具（如Selenium，Squish等）的一部分运行。

Answer 3

如果您没有任何工具，例如SoapUI或JMeter，那么您可以使用您熟悉的任何语言“编码”您自己的测试。我之前使用Java编写测试来检查数据库性能，并且与我的其他答案一样，使用Excel来管理结果。

Answer 4

我建议使用Jmeter或SoapUI进行性能测量。可以在每次测试结束时设置断言。测试的实际结果将与预期结果进行比较，测试用例将基于此标记为通过或失败。您还可以将TestRail与Jmeter集成，并将测试结果发布到TestRail。