每次调用版本时，AI 平台都会安装依赖项

Question

我的模型调用预测出现超时问题，这似乎是因为冷启动。 似乎模型的节点几乎每次被调用时都在安装依赖项（而 minNodes 为 1）。仅当版本超过 1 时才会出现问题，否则它不会重新安装依赖项，并且会在 1 秒内进行预测，而不是进行 120 秒的超时... 我是否需要放置更高的 minNodes 或其他什么？

如果有人遇到问题并有解决方案（或任何建议），我真的很感兴趣;)

谢谢

Answer 1

让我试试看我是否理解您的问题：您使用的是 AI Platform 模型，并且节点每次调用它时都会安装依赖项。多个版本时，不重装依赖，快速预测。

为了继续，我需要问你以下问题：

• 您得到的错误是什么？日志中是否有任何相关消息？
• 你有什么类型的依赖？如果您有一个培训应用程序，您可能有不同类型的依赖项（标准和自定义）[3]。
• 当您提到版本时，您指的是 AI Platform 中的模型版本还是依赖项的不同版本？

关于尝试预测时的 minNodes，我认为增加这个数字不会解决问题。根据 [1]，如果负载更高，它将添加更多节点，然后缩减至少 minNodes。至少有两个节点，您将受 SLA [2] 的保护，但可能面临同样的问题。

[1] - increase()

[2] - https://cloud.google.com/ai-platform/prediction/docs/reference/rest/v1/projects.models.versions#autoscaling

[3] - https://cloud.google.com/ai-platform/prediction/docs/deploying-models#create_a_model_version