注意网络如何工作？

Question

最近我正在经历注意力是您所需要的全部论文，通过它我发现如果我忽略了背后的数学知识，就会发现与理解注意力网络有关的问题。 谁能通过一个例子让我理解注意力网络？

Answer 1

This教程说明了Transformer中的每个核心组件，绝对值得一读。

直觉上，注意力机制正在尝试根据注意力函数（例如，您只需要Attention中的投影+余弦相似度）来找到“相似”的时间步，然后使用相应计算出的权重和先前的表示来计算新的表示。