验证性能测试汇总报告

Question

我有基于jMeter的性能测试，即基于并发用户负载的结果。 在测试结束时，Jmeter提供了汇总报告，在这里我们可以看到平均响应时间，吞吐量等。这些都很好。

我想验证这些结果并确信我执行的测试在我完成的配置方面是正确的，例如配置的用户数量，加速时间等（从应用程序方面，我可以确认交易确实有效，我可以相信jMeter的断言等等，那不在这里了。

我看到一篇很棒的文章，关于应用Little's Law来验证结果。 但是我相信它是关于一个稳定的系统，即以稳定的方式出现在服务器上的用户数量以及在整个系统中保持相同的负载等。（如果这里有误，请纠正我）

但是，一般而言，用户并发测试的设计方式应使负载像步进模式一样变化，如下图所示。

在这种情况下，利特尔法是否仍然适用？ 还是有更好的机制来验证结果并获得对执行的测试和结果的信心，而不是由于测试设备造成的瓶颈。

谢谢

Answer 1

在绝大多数情况下，当您需要提出Load Testing来代表预期的系统使用情况时，workload pattern就会适用利特尔定律。

对于其他测试类型（如Stress Testing或Spike Testing），由于工作量的不同，遵循利特尔定律的意义不大。

关于结果验证，我希望企业对以下问题的答案感兴趣：

1. 系统是否能够处理预期的负载（负载测试）
2. 系统提供的可接受的响应时间且无错误（压力测试），系统可以支持的最大并发用户数是多少。
3. 当负载恢复正常时系统是否恢复
4. 系统如何处理突发的并发请求（峰值测试）
5. 系统是否能够长时间处理负载（Soak testing）

查看Why ‘Normal’ Load Testing Isn’t Enough文章，以获取有关可能要应用于应用程序的不同性能测试子类型的更多信息。