我想知道theano是否可用于在局域网上多台计算机上分布的多GPU架构上训练神经网络。
我已经通过Theano的文档知道它可以在一台计算机上支持多GPU，但我想知道它如何扩展到LAN。
提前致谢。
答案 0 :(得分：0)
您失去了GPU处理通过LAN进行通信的大部分好处。编写得不好的代码会导致GPU传输，即使在单个GPU上也会显着降低处理速度。要从群集中的GPU中获得最大收益，您应该查看Gradient Descent的并行版本，例如Hogwild！
https://people.eecs.berkeley.edu/~brecht/papers/hogwildTR.pdf