并行训练神经网络，理论框架

Question

我正在使用神经网络，目前正在探索除了我的cpu之外的其他方法来加速训练过程。在AWS中的GPU机器上使用Keras和Tensorflow，我能够真正加快这一过程。

这种并行化在理论上如何运作？ （我不考虑群集并行化）

我努力寻找参考资料，所以我要求您深入了解其工作原理。

提前谢谢

Answer 1

虽然我不熟悉相关的实现，但训练神经网络意味着优化神经网络的参数，例如：神经连接的权重。

常见的优化方法包括quasi-Newton methods，它们通过矩阵求逆等矩阵数学运算进行速率限制。 GPU可以在这里大大提高计算速度。

参考文献：

• "Matrix computations on the GPU"，Nvidia（2013-08），讨论了他们的GPU如何并行执行大型矩阵操作。

• "Using GPUs"，TensorFlow，讨论如何配置TensorFlow以使用GPU。