SageMaker TensorFlow SavedModel导出格式是什么？

Question

我是AWS SageMaker TensorFlow 1.11.0脚本模式的新手。在文档中浏览了一段时间，似乎在训练后找不到要导出模型的文件夹结构。我所知道的是我想导出到环境变量“ SM_MODEL_DIR”中指定的目录，并且格式为SavedModel。

我已使用tf.saved_model.simple_save导出以下文件夹结构：

- model.tar.gz
-- saved_model.pb
-- variables
--- variables.index
--- variables.data-00000-of-00001

但是在部署时，出现错误：

Traceback (most recent call last):
File "/sagemaker/serve.py", line 189, in <module>
ServiceManager().start()
File "/sagemaker/serve.py", line 163, in start
self._create_tfs_config()
File "/sagemaker/serve.py", line 53, in _create_tfs_config
raise ValueError('no SavedModel bundles found!')

任何帮助都会很好。谢谢

Answer 1

您会看到此错误，因为TensorFlow Serving（SageMaker用于托管模型）需要将SavedModel嵌套在版本子目录中。

将模型存档的版本目录添加到此结构以使其正常运行。示例：

- model.tar.gz
-- 1
--- saved_model.pb
--- variables
---- variables.index
---- variables.data-00000-of-00001

有关更多信息，请参见TensorFlow Load and serve a SavedModel in TensorFlow serving的Save and Restore Guide部分。