在模型训练本身非常快的假设下,我想知道最佳实践是什么?> 1K模型端点 尽可能快。
感谢任何提示 基督徒
答案 0 :(得分:1)
假设它们是不同的模型(不是用于测试的生产变型),则每个模型需要一个端点,因此需要一个SageMaker实例。可能不是最好的选择(成本,启动实例的时间,同步调用,API节流等)。现在,我将使用其他服务进行部署,例如ECS集群。
能否请您介绍一下您的用例(业务问题,框架,模型大小等)?您不是第一个询问此功能的人,您的反馈对于构建最佳解决方案非常有价值。
Julien(AWS)