TensorFlow - GPU加速仅用于培训？

Question

利用TensorFlow的GPU加速技术可以提高模型训练的速度，还可以在数据模型上使用时提高速度。
大多数指南仅讨论利用GPU加速进行培训。

它也适用于任何TensorFlow Models吗？甚至那些通过shell脚本运行？
此外，默认情况下它会在shell脚本上运行，还是需要显式编码才能使其正常工作。

Answer 1

这对两者都有效，是的，即使不进行训练，它也应该更快地使用模型（除非模型非常简单，并且将它放在GPU上的开销超过了性能成本。）我认为使用GPU是仅仅评估模型所必需的。经常训练时，数据被一起批处理，以便每个列车步骤包含模型的多次运行。此外，需要计算梯度，这会占用大量的计算时间和内存。在训练期间还需要更新权重。因此，只做一个简单的前进传球要快得多。如果你需要立刻制作一大堆前锋，我真的认为你会看到一个好处。

至于通过shell脚本运行tensorflow模型，我认为如果他们在GPU上训练，他们也会在GPU上运行。