LSTM单元格更新是否考虑了当前输入?

时间:2018-04-11 14:01:15

标签: tensorflow machine-learning nlp lstm

我通过研究LSTM提出了一个问题。在接下来的link中,我发现了一个非常有用的LSTM机制解释。此博客文章中的部分和方程已在其他几个关于LSTM(包括维基百科)的网页上报道。但是,通过阅读LSTM的原始paper,有些内容并不匹配。我的问题是关于细胞状态的更新。在博客中,它由定义C t 的等式定义,该等式考虑最后一个输出h t-1 和当前输入x t enter image description here

在论文中,等式(6)告诉我时间ts(t) c 的状态取决于元素g(net c (t)),这是博客方程的C 的类比。等式(6)如下(中的术语y 是输入门)。

enter image description here

从上图中可以看出,C 取决于先前的输出h和当前的输入x。但是,本文中的net c (t)并未考虑当前输入x t 。 实际上,net c (t)的定义如下(论文中的等式4)。

enter image description here

其中y u (t-1)是时间t-1的单位u的输出值。

所以我的问题是关于论文或博客中是否有错误。由于博客的版本是我经常在课程,教程和所有实际材料中找到的版本,包括张量流实现!

请注意,同样的问题引发了输入门i t 的计算。

PS。引用的论文是第一篇关于LSTM的文章,遗忘门已经被另一篇论文引入,但是两篇论文中提到的方程是相同的。

0 个答案:

没有答案