清楚地了解LSTM如何解决消失和爆炸梯度的问题

时间:2016-05-16 17:11:52

标签: machine-learning gradient-descent lstm recurrent-neural-network

我即将开始使用Keras / Theano对LSTM进行编码。

据我所知,使用LSTM(而不是香草RNN)可以避免消失和爆炸渐变。

有人可以清楚地解释(或提供他们最喜欢的链接以明确答案),这解释了LSTM及其遗忘门,存储器单元输入和存储器单元输出门如何防止消失和爆炸的梯度。

还有其他任何RNN变体还可以避免这些问题吗?或者LSTM是唯一能做到这一点的RNN变体吗?

0 个答案:

没有答案