标签： azure tensorflow kubernetes tensorflow-serving azure-kubernetes
我有一个TensorFlow对象检测模型，该模型与TensorFlow服务一起使用，并已部署到Azure Kubernetes群集中。我使用了TensorFlow / serving：1.12.3：gpu版本的Nvidia K80 GPU设备。
模型已部署并正确响应，但响应时间非常长，对于500 * 375-135 KB图像，响应时间为3-4秒。
任何人都可以帮助我了解可以改进的地方吗？
答案 0 :(得分：0)
如果此图像是第一个预测请求，则属于正常情况。您可能需要热身请求。