我已经在AWS Sagemaker上成功部署了jupyter笔记本, 并为预测算法创建了端点(用例)。 我想知道如何在AWS Sagemaker中实现多实例环境,并在终端上实现多个请求的负载平衡。
如果问题无效,请告诉我。
答案 0 :(得分:1)
您可能是这样创建端点的:
predictor = estimator.deploy(initial_instance_count = 1, instance_type ='ml.m4.xlarge')
如果将initial_instance_count设置为大于1,则SageMaker会自动将该数量的实例分配给端点。预测请求将自动进行负载均衡,没有其他要做。
如果需要,您还可以设置自动缩放以处理流量变化:https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html