有没有办法改变在训练循环中计算梯度的变量集?

时间:2017-03-16 09:53:04

标签: tensorflow

我正在制作去噪自动编码器。 因为我的去噪自动编码器非常大,我想减少关于渐变的计算。

根据[1],似乎只有一些从权重矩阵中随机选择的行才会更新。

TensorFlow具有将梯度计算限制为特定变量的基本机制。  例如AdamOptimizer(var_list = [w1,w2])。minimize()。 在这种情况下,计算关于w1和w2的梯度。  但是,只要调用此方法,此过程就会向计算图形添加新操作。 因此,这个机制不能用于此目的(我认为如果在训练循环中调用该方法,则内存使用量会不断增加)。

我可以在训练循环中更新AdamOptimizer中的var_list吗? 是否有其他方法可以更改在训练循环中计算梯度的变量集?

[1] http://www.icml-2011.org/papers/491_icmlpaper.pdf

0 个答案:

没有答案