双精度与单精度神经网络的最终精度

Question

我想知道是否有人在CIFAR10或ILSVRC-2012数据集上训练深度神经网络并比较单精度和双精度计算的最终结果？

Answer 1

无法发表评论，但这不是一个答案，而是更多的信息和实验。我认为这个问题很难测试，因为使用64位将需要CPU而不是GPU，并且会大大增加运行时间。

首先是来自Google的Vincent Vanhoucke的主题论文：http://static.googleusercontent.com/media/research.google.com/en/us/pubs/archive/37631.pdf。本文的重点是优化cpus上的深度网络，并且大量的优化使用“定点SIMD”指令，如下一个链接所述，相当于8位精度（除非我弄错了）。可以在http://petewarden.com/2015/05/23/why-are-eight-bits-enough-for-deep-neural-networks/找到对本文的解释。

根据我自己的经验，我使用16位精度作为输入，而不是32位深度Q-Learning，我注意到性能没有差异。 我不是低级计算专家，但真正有用的额外数字是多少？培训的目的是最大化网络分配正确类别的概率（即softmax输出为95％+）。 A + - 0.0001的差异不会改变预测的类别。