训练期间LSTM中隐藏层和隐藏层之间的权重是否更新?

时间:2018-06-21 12:22:43

标签: lstm rnn

我看过Sepp Hochreiter的论文“长期短期记忆”。论文指出,LSTM具有称为恒定误差轮播(CEC)的特性,这意味着沿时间步长的误差信号应保持恒定。等式的推导表明CEC发生在

w_jj = 1

f(x)= x

其中,f是隐藏层中的激活函数。然后,如果要达到恒定误差,是否意味着隐藏神经元之间的权重恒定= 1?

对于LSTM单元,有两个输出:单元状态和隐藏状态。在此图中enter image description here

沿着时间步长,单元状态之间的CEC项w = 1连接吗?如果是这样,那么在进行重量训练时,隐藏状态和细胞状态之间的联系是否保持不变?

0 个答案:

没有答案