在深度学习中使用Fp16会对最终结果产生不利影响吗？

Question

我看到tensorflow在训练和测试中使用了fp16，使用它是否安全，或者它会对最终结果产生不利影响？

Answer 1

根据维基百科的数据，nvidia显卡的半精度浮点性能甚至比使用double更糟糕，而且我正在通过性能报告确认这个想法（https://github.com/tensorflow/tensorflow/issues/1300，请参见页面底部，10报告的绩效百分比）。 因此我们可以得出结论，使用fp16以视频ram问题（或模型的规模）为中心，训练应该正常进行， 可以使用较低的精度，也研究了二进制连接。无论如何，适合将被存档 相比之下，amd卡可以提供惊人的fp16性能，而软件支持很少。例如theano和libgpuarray背景在openCL.though ...人们使用fp32来计算

Answer 2

它会影响训练时的输出，因为float32提供了额外的数学精度，但是在训练之后你可以量化＆＃39;如果您的硬件本身支持float16，则网络中的操作浮动16以获得更快的性能。如果硬件不支持此类操作，则可能会使性能下降。