标签: lstm rnn
我看过Sepp Hochreiter的论文“长期短期记忆”。论文指出,LSTM具有称为恒定误差轮播(CEC)的特性,这意味着沿时间步长的误差信号应保持恒定。等式的推导表明CEC发生在
w_jj = 1
f(x)= x
其中,f是隐藏层中的激活函数。然后,如果要达到恒定误差,是否意味着隐藏神经元之间的权重恒定= 1?
对于LSTM单元,有两个输出:单元状态和隐藏状态。在此图中
沿着时间步长,单元状态之间的CEC项w = 1连接吗?如果是这样,那么在进行重量训练时,隐藏状态和细胞状态之间的联系是否保持不变?