在训练过程中如何保持梯度的一部分值恒定?

时间:2019-03-23 19:20:23

标签: tensorflow neural-network conv-neural-network

在训练期间,我想保持渐变的结构。但是我想使渐变的一部分的值保持恒定,而其他值通常会变化。因此,以这种方式,参数仍然会更改,并且渐变也会更改,但其中一部分不会更改。 像渐变= A(w)* B(w)一样,值A(w)不变,因此A(w)=A。B(w)相应地变化。

我使用此功能grads = tf.gradients(loss_op,tf.trainable_variables())。 我试图让每位研究生毕业,并对梯度的某位成员有所作为。但是,改变梯度的结构似乎可行,但保持价值是不可行的。

我想要类似的东西

初始化:w = 1

如果 dw / dt = A(w)* B(w)=(2w)*(10w)

使A(w)恒定。

所以A(w)= 2 * w = 2永远。

所以dw / dt = 2 * 10w

0 个答案:

没有答案