如何使用保存的模型在 google colab 中恢复训练？

Question

我正在尝试在 google colab 上的自定义数据集上训练 TensorFlow 对象检测模型，并且我有一个训练了 5000 步的保存模型，是否可以使用保存的模型来恢复训练？我计划再训练 20000 步。我正在使用 google colab 进行培训，培训大约需要 36 个小时，所以我打算使用检查点。如何存储最佳模型检查点并在会话用完时使用它们？

Answer 1

要使用已保存检查点的权重恢复训练，请在您的 pipeline.config 文件中，将包含 fine_tune_checkpoint 的行从 <path_to_ckpt>/model.ckpt 更改为 <path_to_ckpt>/model.ckpt-XXXX，其中 XXXX 是您的检查点编号。

就只保存最佳权重而言，您可以参考this帖子和/或this GitHub链接