我正在制作去噪自动编码器。 因为我的去噪自动编码器非常大,我想减少关于渐变的计算。
根据[1],似乎只有一些从权重矩阵中随机选择的行才会更新。
TensorFlow具有将梯度计算限制为特定变量的基本机制。 例如AdamOptimizer(var_list = [w1,w2])。minimize()。 在这种情况下,计算关于w1和w2的梯度。 但是,只要调用此方法,此过程就会向计算图形添加新操作。 因此,这个机制不能用于此目的(我认为如果在训练循环中调用该方法,则内存使用量会不断增加)。
我可以在训练循环中更新AdamOptimizer中的var_list吗? 是否有其他方法可以更改在训练循环中计算梯度的变量集?