使用AWS Sagemaker获得模型性能而无需创建终端节点

时间:2020-09-18 17:06:23

标签: pytorch amazon-sagemaker

我一直在使用Amazon Sagemaker笔记本为NLP任务构建pytorch模型。 我知道您可以使用Sagemaker进行训练,部署,超参数调整和模型监视。

但是,您似乎必须创建一个推理端点才能监视模型的推理性能。

我已经有一个EC2实例设置,可以在我们的模型上执行推理任务,该模型当前在开发箱中,而不是使用端点制作

是否可以在不创建端点的情况下使用Sagemaker进行训练,运行超参数优化和评估模型。

2 个答案:

答案 0 :(得分:0)

如果您不想保持推理端点正常运行,一种选择是使用SageMaker Processing运行一项作业,该作业将您训练有素的模型和测试数据集作为输入,执行推理并计算评估指标,然后将它们保存到S3在JSON文件中。

This Jupyter notebook example逐步执行(1)预处理训练和测试数据,(2)训练模型,然后(3)评估模型

答案 1 :(得分:0)

您可以使用两种方法在 AWS SageMaker 上部署模型:设置终端节点和创建批量转换作业。我想你可能可以尝试后者。

使用批量转换作业的好处是您可以为输入和输出数据指定 S3 存储桶路径。作业完成后,会直接上传输出到s3路径。