在训练期间,我想保持渐变的结构。但是我想使渐变的一部分的值保持恒定,而其他值通常会变化。因此,以这种方式,参数仍然会更改,并且渐变也会更改,但其中一部分不会更改。 像渐变= A(w)* B(w)一样,值A(w)不变,因此A(w)=A。B(w)相应地变化。
我使用此功能grads = tf.gradients(loss_op,tf.trainable_variables())。 我试图让每位研究生毕业,并对梯度的某位成员有所作为。但是,改变梯度的结构似乎可行,但保持价值是不可行的。
我想要类似的东西
初始化:w = 1
如果 dw / dt = A(w)* B(w)=(2w)*(10w)
使A(w)恒定。
所以A(w)= 2 * w = 2永远。
所以dw / dt = 2 * 10w