＆＃34;关注头＆＃34;在张量流

Question

我是张量流的新手，并尝试实施＆＃34; seq2seq＆＃34;模型根据教程。我不确定一个论点＆＃34; num_heads＆＃34; （默认值= 1）func＆＃34; embedding_attention_seq2seq＆＃34;。它代表什么？我在相关论文中找不到它。

Answer 1

如果您阅读任何解码器的源代码，例如this one，您就会知道它代表了注意力的数量。

有时会有几个注意事项（层次关注），例如this paper中的这个（如下图所示）。 TL; DR;第一个用于单词，第二个用于句子  请检查此图表：