即使在Auto Scaling之后CPU利用率下降，负载测试期间的响应时间也会过高

Question

以下是该方案：

我正在负载均衡模式下在Amazon EC2 Linux实例上运行我的Java / Spring应用程序，最初有3台服务器，可以按需扩展或缩小。

扩展标准：当CPU利用率超过30％超过10分钟时，再添加2台服务器。

缩小条件：当CPU利用率降至15％以下超过10分钟时，请删除一台服务器。

正在加载（使用blazemeter.com）：增加编号。用户在大约15分钟内稳定地从0到50，并且从那时开始保持不变。

响应：

• 在前15分钟内，负载增加到50次点击/秒，并再保持稳定5分钟。 CPU利用率保持在30％左右。此阶段的响应时间低于20毫秒。
• 当负载达到50次点击/秒时，从启动开始约20分钟，CPU利用率飙升至33％左右超过10分钟，从而触发升级。响应时间急剧增加，在5000ms到15000ms之间波动。
• 现在有2个额外的服务器（服务器数现在为5），CPU利用率回到20％，但响应时间没有显示消退的迹象。在剩余的测试期间，它仍然保持在5000ms到15000ms之间，直到负载被移除。

我的问题是，为什么当CPU利用率恢复正常（利用率约为20％）时，响应时间没有降到正常水平（大约20ms）？

CPU利用率图表

响应时间表

感谢您的时间：）