Aws Sagemaker如何为端点提供多实例环境和负载平衡

时间:2019-01-16 12:05:35

标签: amazon-web-services machine-learning amazon-sagemaker

我已经在AWS Sagemaker上成功部署了jupyter笔记本, 并为预测算法创建了端点(用例)。 我想知道如何在AWS Sagemaker中实现多实例环境,并在终端上实现多个请求的负载平衡。

如果问题无效,请告诉我。

1 个答案:

答案 0 :(得分:1)

您可能是这样创建端点的:

predictor = estimator.deploy(initial_instance_count = 1,                              instance_type ='ml.m4.xlarge')

如果将initial_instance_count设置为大于1,则SageMaker会自动将该数量的实例分配给端点。预测请求将自动进行负载均衡,没有其他要做。

如果需要,您还可以设置自动缩放以处理流量变化:https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html