部署深度学习模型时的速度和内存问题

Question

我需要建立用于图像分类的深度学习模型。我需要针对这些数据训练一个深度学习模型，然后将其部署到实际的机器上。

总而言之，我的主要问题是：

• 图像非常大，这导致CUDA出现内存问题。如何防止模型内存不足？

• 此外，我需要一个非常快速的推断，因为该模型将在实际部署环境中使用。速度对于及时响应非常重要。

我需要同时解决这两个问题才能部署模型。

Answer 1

我认为减小图像尺寸非常重要。如有必要，可以对其进行重塑，从而可以显着降低内存成本。

Answer 2

我认为您可以尝试不同的批次大小。因为批量大小与深度学习的训练和推理速度直接相关。但是我认为，更好的GPU机卡对于深度学习网络的图像分类更为重要。

Answer 3

我认为您需要更好的GPU卡，因为深度学习非常耗时。