反向传播,如何处理一个参数更新两次

时间:2017-04-21 02:33:58

标签: neural-network backpropagation

在我的神经网络中,一个参数(某个词的单词嵌入)将被更新两次。我的问题是我需要逐个更新这个参数吗?或其他一些方法来更新这个参数?

这是我认为的当前方法:

w = w_old + learning_rate *(grad_1 + grad_2)

0 个答案:

没有答案