TensorFlow推理（服务），CPU是否足够？

Question

通常在我训练模型后，我会使用相同的GPU来完成。

但是，如果我想在线提供服务，我们是否还需要一个GPU实例进行推理？或者CPU实例是否足够？

感谢。

Answer 1

导出模型时，设备将被清除。以下是此功能的单元测试：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/saved_model/saved_model_test.py#L564

从评论中复制：处理大批量时GPU很快。在推断单个输入时，CPU足够快。