标签: tensorflow-serving tensorflow-gpu
我使用TensorFlow服务为模特服务。攻击系统每秒发送10个请求后,我的服务器状态为:
它显示我的GPU空闲时所有CPU都很忙。我发现大约50%的请求需要超过30秒。
为什么TensorFlow服务不能利用我的GPU?