使用Google Cloud AI平台和GPU运行自定义预测

时间:2019-11-14 06:23:07

标签: google-cloud-platform gcp-ai-platform-notebook gcp-ai-platform-training

我正在尝试将MaskRCNN模型部署到GCP AI平台。默认的在线预测对我不起作用,因为我的输入大小大于允许的限制。因此,我决定继续使用自定义预测路线。

关于自定义预测,我试图使用比默认设置更大的机器类型,因为我的模型很大,并且比默认设置(mls1-c1-m2)提供的内存更大。

我想使用n1-standard-4机器类型部署模型,以下是我正在运行的命令:

gcloud beta ai-platform versions create $VERSION_NAME   --model $MODEL_NAME   --runtime-version 1.14   --python-version 3.5   --origin $MODEL_DIR   --package-uris gs://pred_02/staging/my_custom_code-0.1.tar.gz --framework tensorflow  --prediction-class predictor.MyPredictor --machine-type n1-standard-4 

但这会引发错误:

ERROR: (gcloud.beta.ai-platform.versions.create) FAILED_PRECONDITION: Machine type n1-standard-4 only support FRAMEWORK_TENSORFLOW

我也尝试了--framework arg的不同变体,但是它们都引发了类似的错误。那么,为什么会引发此错误呢?

如果这行得通,那么我的想法是将这种机器类型与k80加速器一起使用。这是我的第二个问题?可以使用加速器运行它以进行自定义预测吗?

1 个答案:

答案 0 :(得分:2)

--prediction-class尚不适用于n1种机器类型。在此之前,您可以使用mls1-c4-m2台计算机。检查机器类型here,以了解每种机器类型的约束。

自定义预测程序仍在发展中。您应该检查更新here