可视化注意力

时间:2018-07-16 14:57:13

标签: rnn attention-model

我特别注意实现RNN,这是一种用于机器翻译的编码器/解码器。 现在,我想可视化我的注意力权重。当查看先前的n个状态时,我使用函数w.r.t对这些状态进行评分,得出我的当前状态,这意味着我得到了“称量”先前状态的n个标量。然后,我注意层的输入就是先前状态的这n个标量加权和。 据我从其他教程中了解到的那样,我现在将这些n个标量简单地可视化以引起我的注意:较大的值表示该模型特别关注这些部分,较小的值表示它不太相关。 我想知道这是否正确。由于注意力向量只是馈送到下一层,因此我是否也不必考虑下一层的激活?例如,下一层可能以某种方式使注意力向量逆转,或者学会特别注意接近0的值-我是否在想错了? 谢谢。

0 个答案:

没有答案