我是否需要 GPU 才能部署深度学习模型？

Question

我知道我确实需要 GPU 来训练模型，但即使在训练模型之后，我还需要 GPU 来部署相同的训练模型吗？ 例如，我有一个带有自动驾驶功能的汽车模型来预测和做出决定......我是否也需要一个 GPU 来进行预测......

特别是在强化学习的情况下

Answer 1

严格来说，您通常不需要 GPU 进行训练，具体取决于平台，它只会比使用 GPU 而不是 CPU 慢得多。

部署模型不需要 GPU。大多数模型只是一个有组织的权重列表，模型使用这些权重对其输入进行操作。由于这在计算上通常不是特别昂贵，除了非常大的模型之外，GPU 也不是部署所必需的，但可能会为较大的模型提供一些性能优势。