如何在SageMaker托管端点中实现波束搜索解码器？

Question

我已经为Seq2Seq神经网络创建了SageMaker模型，然后启动了SageMaker端点：

create_endpoint_config_response = sage.create_endpoint_config(
    EndpointConfigName = endpoint_config_name,
    ProductionVariants=[{
        'InstanceType':'ml.m4.xlarge', 
        'InitialInstanceCount':1,
        'ModelName':model_name,
        'VariantName':'AllTraffic'}])

create_endpoint_response = sage.create_endpoint(
    EndpointName=endpoint_name,
    EndpointConfigName=endpoint_config_name)

此标准端点不支持波束搜索。创建支持波束搜索的SageMaker端点的最佳方法是什么？

Answer 1

根据您的评论，我相信唯一的解决方案是创建自己的docker容器进行推理。这样，您可以加载已经训练好的模型，并随心所欲地对其进行处理。当您想了解如何在sagemaker中使用docker时，This example是一个不错的起点。

对于您的用例，最好找到内置的sagemaker的源代码 seq2seq模型（内置算法也只是docker映像），根据您的需要进行修改，构建修改后的docker容器并将其加载到AWS ECR，您可以在其中使用sagemaker进行加载。

不幸的是，我不知道docker容器的源代码是否公开可用（第一次尝试找不到）。