我很好奇，知道在aws sagemaker笔记本中实施时，model.deploy命令实际上在后台执行什么操作 例如： predictor = sagemaker_model.deploy（initial_instance_count = 9，instance_type ='ml.c5.xlarge'）
以及在sagemaker端点自动缩放后台发生的情况时，启动新实例大约要花费10分钟的时间，通过该实例，大多数请求将被丢弃或未处理，并且连接超时而负载测试则抛出了JMeter。 sagemaker中有什么方法可以快速启动或金色AMI吗？
还有其他方法可以解决此问题吗？
答案 0 :(得分：1)
文档中提到了deploy方法的作用：https://sagemaker.readthedocs.io/en/stable/model.html#sagemaker.model.Model.deploy
您还可以在此处查看源代码：https://github.com/aws/sagemaker-python-sdk/blob/master/src/sagemaker/model.py#L377
本质上，deploy方法将模型托管在SageMaker Endpoint上，并使用您指定的实例类型启动实例数量。然后，您可以使用预测变量来调用模型：https://sagemaker.readthedocs.io/en/stable/predictors.html
对于自动扩展，您可能需要考虑降低扩展阈值，以便其他实例较早开始启动。该页面为如何确定端点可以处理的RPS提供了一些很好的建议。具体来说，您可能希望使用较低的SAFETY_FACTOR以确保及时提供新实例来处理您的预期流量。