Question

在通过PyTorchModel类使用SageMaker部署模型时，是否可以传递自定义环境变量或kwarg？

我希望能够通过自定义参数切换服务代码的功能，而无需编写多个serve.py来处理不同的训练模型导出方法。

model = PyTorchModel(name='my_model',
                     model_data=estimator.model_data,
                     role=role,
                     framework_version='1.0.0',
                     entry_point='serve.py',
                     source_dir='src',
                     sagemaker_session=sess,
                     predictor_cls=ImagePredictor,
                     <custom_argument?>
                    )

Answer 1

您是否尝试过在env中使用PyTorchModel参数？（请参阅https://sagemaker.readthedocs.io/en/stable/model.html#sagemaker.model.Model）

model = PyTorchModel(name='my_model',
                     model_data=estimator.model_data,
                     role=role,
                     framework_version='1.0.0',
                     entry_point='serve.py',
                     source_dir='src',
                     sagemaker_session=sess,
                     predictor_cls=ImagePredictor,
                     env={'ENV_VALUE': 'val'}
                    )

Answer 2

这应该有效（从受过训练的estimator或从model到高级Python SDK的工作）

model.deploy(
    initial_instance_count=1, 
    instance_type='ml.m5.xlarge',
    env={'MY_ENVIRONMENT_VARIABLE':'value'})

SageMaker PyTorchModel传递自定义变量

2 个答案: