LSTM的输出门有什么用?

时间:2017-03-10 07:02:35

标签: lstm

根据LSTM结构,存储器单元通过输出门输出到下一个时间步的下一层或隐藏层。但是,它直接暴露在下一个时间步的输入,遗忘和输出门。这种选择性暴露程度有什么好处?

1 个答案:

答案 0 :(得分:0)

忘记门:这是一个0和1的矩阵,它过滤掉了 输出,你不需要或不需要进一步携带。

更新门:这也是一个0和1的矩阵,它告诉忘记它们后要更新哪些输出,因为你不记得并忘记一件事,所以我们正在更换具有较新输出的输出。

示例:我的猫非常漂亮。她只吃鱼。其他猫对她很粗鲁。

这里,起初我们只讨论过一只猫,但我们希望我们的模型在遇到单词“cats”时,模型应该忘记以前的单数“cat”,得到更新并输出“are”而不是“是”。但是为了预测“是”,我们需要另一个过滤器来帮助我们找出预测的可能候选者,并在这里进入输出门。

输出门:它也是一个0和1的矩阵,它有助于决定我们将使用哪些输出,在应用之后,我们将结果矩阵提供给softmax来计算概率,决定谁是预测的赢家候选人。