没有输入的LSTM注意机制

时间:2018-11-13 00:28:11

标签: tensorflow lstm attention-model

我正在尝试通过以下论文来实现该体系结构:https://arxiv.org/pdf/1511.06391.pdf

我坚持的部分与方程式(3)和(7)有关。特别是,作者指定该LSTM不接受任何输入,并且输出状态q *取决于隐藏状态q。但是,根据我对LSTM的理解,q *和q必须具有相同的尺寸。现在,这显然是错误的,因为q * = [q,r],其中r是与q相同的维(来自等式3,以便使点积成为可能)。因此,我误会了一些东西,但看不到它是什么。

作为奖励,一个人如何编写在TensorFlow中不输入任何内容的LSTM?

非常感谢您的关注!

0 个答案:

没有答案