AWS SageMaker在同一台机器上托管多个模型（ML计算实例）

Question

我可以使用部署功能托管在 SageMaker 中开发的模型。目前，我看到我开发的不同模型需要部署在不同的ML计算实例上。

有没有办法在同一个实例上部署所有模型，使用单独的实例似乎是非常昂贵的选择。如果可以在同一个实例上部署多个模型，那么会为模型创建不同的端点吗？

Answer 1

SageMaker旨在解决规模上的部署问题，您希望每秒能够进行数千次模型调用。对于此类用例，您希望在每个实例上具有相同模型的多个任务，并且通常在负载平衡器和自动缩放组后面具有相同模型的多个实例，以允许根据需要进行扩展和缩小。

如果您不需要这样的比例并且单个模型的单个实例对于您需要处理的每秒请求是不经济的，您可以采用在SageMaker中训练的模型并自己承载它们一些服务框架，如MXNet服务（https://github.com/awslabs/mxnet-model-server）或TensorFlow服务（https://www.tensorflow.org/serving/）。

另请注意，您可以控制用于托管的实例类型，并且可以为较小的负载选择较小的实例。以下是您可以选择的各种实例类型的列表：https://aws.amazon.com/sagemaker/pricing/instance-types/

Answer 2

我相信这是AWS sagemaker中引入的一项新功能，请参考以下链接，它们的功能完全相同。

是的，现在在AWS sagemaker中，您可以在同一ML实例中部署多个模型。

在下面的链接中， https://github.com/awslabs/amazon-sagemaker-examples/blob/master/advanced_functionality/

您可以找到示例，

• multi_model_bring_your_own
• multi_model_sklearn_home_value
• multi_model_xgboost_home_value

另一个链接，详细说明了多模型XGboost。 https://aws.amazon.com/blogs/machine-learning/save-on-inference-costs-by-using-amazon-sagemaker-multi-model-endpoints/

希望这对希望将来解决此问题的人有所帮助。