性能测试

Question

我们正在使用VMWare和NUnit开发自动回归测试。我们将测试分为几个步骤，现在我想看看每个步骤的性能回归。像NUnit一样，简单地对测试进行计时似乎并不可靠。我认为接受系数约为15％，但我们的步骤有时会有所不同，超过35％。在这种依赖资源的测试环境中，有没有一致的测试性能方法？ “智能”计时系统是我唯一的选择吗？

Answer 1

对于这种性能测试，没有系统会给你一个简单的通过/失败结果。在现实生活中，改变你的系统可能会使某些事情变得更快而其他一些事情变得更慢，所以它通常不是“更好”和“不更好”之间的选择，它是不同类型之间的选择。 （当然，你想要避免严重恶化的情况。）

我过去所做的就是随着时间的推移保持统计数据。每次运行测试时，都会将结果放在带有修订号和测试计时的SQL数据库中。然后，您可以随时随地绘制它们（理想情况下，在一个小小的Web小程序中，以便团队中的每个人都可以查看它们），看看您的性能是趋势上升还是下降，或者自特定修订以来性能是否已经下降。< / p>

但关键是，它需要是图形。通过这种方式，人眼可以看到它并找到趋势。你可以花一整周的时间来尝试用AI算法来数据分析数据，但它永远不会超过人类的模式识别能力。

Answer 2

您可能会查看Ants Profiler等工具可用的功能，因为它确实提供了方法执行/运行时间，但我不确定它在重复测试方面提供了什么。

Answer 3

关于性能测试，我一直对使用vmware或其他虚拟化进程持怀疑态度。我们过去处理这个问题的方法是让部分构建在静态机器上安装最新版本并运行测试。您应该在虚拟化之外看到更一致的结果。