如何处理大于张量流上GPU内存量的矩阵?

时间:2017-03-27 09:39:28

标签: matrix tensorflow deep-learning

NLP任务的单热矢量有大约10000个维度,我想通过RNN处理它们,隐藏状态大小约为50000.因此,对于LSTM-RNN,我需要有大约4个矩阵50000 * 50000和4个矩阵10000 * 50000,大约10个大小为10000的向量。如果我们计算我需要存储所有这些东西的总大小它将是大约20-30 GB的内存。

有没有办法解决这个问题?

0 个答案:

没有答案