标签: matrix tensorflow deep-learning
NLP任务的单热矢量有大约10000个维度,我想通过RNN处理它们,隐藏状态大小约为50000.因此,对于LSTM-RNN,我需要有大约4个矩阵50000 * 50000和4个矩阵10000 * 50000,大约10个大小为10000的向量。如果我们计算我需要存储所有这些东西的总大小它将是大约20-30 GB的内存。
有没有办法解决这个问题?