在张量流中训练大模型时如何解决GPU内存不足的问题?

时间:2017-03-18 00:50:56

标签: tensorflow gpu

我在tensorflow中运行LSTM演示。

单元输出大小461 * 461 * 4 * 120 = 100MB(120个隐藏节点)

Softmax输出尺寸461 * 461 * 4 * 256 = 200MB

但是使用Nvidia 960(4G内存)运行这个演示会耗尽所有GPU内存,为什么?

如果隐藏节点高达1000,使用doble GPU(Nvidia 1080)很难让这个工作,如何解决?

0 个答案:

没有答案