Sagemaker模型评估

Question

Amazon文档列出了几种评估模型的方法（例如交叉验证等），但这些方法似乎在Sagemaker Java SDK中不可用。 目前，如果我们想进行5倍交叉验证，似乎唯一的选择是为每个数据子集创建5个模型（并且还部署5个端点）一个模型，并手动计算性能指标（召回，精度等）。

这种方法效率不高，根据k倍验证中的折叠次数，部署k端点也需要很高效。

有没有其他方法来测试模型的性能？

Answer 1

Amazon SageMaker是一组多个组件，您可以选择使用哪些组件。

内置算法专为（无限）规模而设计，这意味着您可以拥有庞大的数据集，并能够以低成本快速构建模型。拥有大型数据集后，您通常不需要使用交叉验证等技术，建议在培训数据和验证数据之间进行明确划分。当您提交培训工作时，将使用输入通道定义这些部件中的每一个。

如果您有少量数据并且想要对所有数据进行训练并使用交叉验证来允许它，则可以使用服务的不同部分（交互式笔记本实例）。您可以将自己的算法甚至容器图像用于开发，培训或托管。您可以根据任何机器学习库或框架获得任何python代码，包括scikit-learn，R，TensorFlow，MXNet等。在您的代码中，您可以根据从S3复制到工作人员的培训数据定义交叉验证实例。