注意机制是真正的关注还是只是回头看记忆？

Question

在阅读注意力机制时，我对术语“注意力”感到困惑。我们的注意力本质与通常定义中描述的一样吗？

Answer 1

例如，在机器翻译任务中，直观地讲，这等同于输出翻译后的单词，然后再遍历文本的所有内部存储器，以确定接下来要生成哪个单词。这似乎是一种浪费，而不是人类所做的一切。实际上，它更像是内存访问，而不是关注，我认为这有点用词不当（请参见下文）。不过，这并不能阻止注意力机制变得很流行，并且在许多任务上表现良好。

Answer 2

如Attention Is All You Need（恕我直言）所述，注意力与我们的大脑用作注意力机制的过程非常相似。

我们大脑中有一个名为LGN的东西，负责过滤掉手头任务的不必要信息。例如，如果我开始寻找钥匙，那么我的大脑将减少对银色或金色以外颜色的物体的关注（希望如此）。现在，我还不了解人脑的高级注意力机制。但是，很明显的一件事是，信息在注意力之前穿过每一层，并以神经活动的形式表示。

当您提供关于世界当前状态的人工模型表示时，信息将被表示为张量，并且类似地，注意力使您可以看到做出最佳决策所需的内容（类似于查找键）。