TensorFlow seq2seq是否实现了原始的Bahdanau注意分数?

时间:2018-10-03 20:47:48

标签: tensorflow seq2seq attention-model

我正在编写自己的自定义关注点,从而深入研究TensorFlow的源代码。

Bahdanau注意得分函数在这里:https://arxiv.org/abs/1409.0473第14页第二等式e_ij。

  

e = v * tanh(W s + U h)

     

(忽略下标和上标。)

TensorFlow的实现在这里: https://github.com/tensorflow/tensorflow/blob/r1.11/tensorflow/contrib/seq2seq/python/ops/attention_wrapper.py第485行。

  

normed_v * math_ops.tanh(键+已处理查询+ b),[2])

我在TensorFlow中看不到矩阵W和U的实现。我想知道是否有人有同样的看法?为什么TensorFlow会以这种方式实现Bahdanau的关注?

0 个答案:

没有答案