我正在编写自己的自定义关注点,从而深入研究TensorFlow的源代码。
Bahdanau注意得分函数在这里:https://arxiv.org/abs/1409.0473第14页第二等式e_ij。
e = v * tanh(W s + U h)
(忽略下标和上标。)
TensorFlow的实现在这里: https://github.com/tensorflow/tensorflow/blob/r1.11/tensorflow/contrib/seq2seq/python/ops/attention_wrapper.py第485行。
normed_v * math_ops.tanh(键+已处理查询+ b),[2])
我在TensorFlow中看不到矩阵W和U的实现。我想知道是否有人有同样的看法?为什么TensorFlow会以这种方式实现Bahdanau的关注?