当使用小批量训练时，如何加快神经网络的训练？

Question

如果培训涉及小型批次，是否有人可以就加速多层人工神经网络培训过程的可能技术提出一些想法？

到目前为止，我知道随机训练可能会导致更快的收敛，但是，如果我们必须使用小批量训练，有没有办法让收敛更快？

（对相关论文的一些指示也会有所帮助！）

谢谢！

Answer 1

就一般提示而言，您可能希望在编写神经网络时使用GPU;它们导致速度和性能的巨大改进。见http://web.stanford.edu/~acoates/papers/CoatesHuvalWangWuNgCatanzaro_icml2013.pdf

在机器学习方面，更好的权重初始化可以实现更快的收敛。这样做的一种方法是无监督的特征学习。见http://web.stanford.edu/~acoates/papers/CoatesLeeNg_nips2010_dlwkshp_singlelayer.pdf