Keras：LSTM丢失与LSTM重复丢失之间的差异

Question

来自Keras文档：

dropout：在0和1之间浮动。要删除的单位的分数  输入的线性变换。

recurrent_dropout：浮点数介于0和1之间  降低了复发状态的线性转换。

任何人都可以指出每个辍学事件发生在图像上的哪个位置？

Answer 1

我建议看看this paper的{第一部分}。常规丢失应用于输入和/或输出，表示从x_t到h_t的垂直箭头。在您的情况下，如果将其作为参数添加到图层，它将掩盖输入;您可以在重复图层之后添加Dropout图层以屏蔽输出。循环辍学面罩（或＃34;下降＆＃34;）经常性单位之间的连接;这将是你图片中的水平箭头。

这张照片取自上面的论文。在左侧，输入和输出经常丢失。在右边，定期辍学PLUS反复辍学：

（在这种情况下忽略箭头的颜色;在论文中，他们进一步指出在每个时间步长保持相同的辍学面具）

Answer 2

以上答案突出了一种经常性的辍学方法，但tensorflow和keras未使用一种方法。 Tensorflow Doc。

Keras / TF是Semeniuta et al提出的一种循环方法。另外，请在图片下方检查比较不同的经常性辍学方法。上面答案中提到的Gal and Ghahramani方法在第二位置，而Semeniuta方法是最正确的。