从BERT的最后一层获取关注向量

时间:2020-04-27 17:59:18

标签: text nlp bert-language-model

是否有任何方法可以从BERT的最后一层获得具有标准化值(0-1)的注意力向量?我对获得BERT分配给句子中每个单词的关注值感兴趣。

我正在研究情绪分类。我想提取与情感相关的单词。例如:

我今天感觉很棒。

感觉和奇妙词是与分类器相关的句子中最相关的词,因此我想获得BERT分配给每个词的注意力得分。

预先感谢

0 个答案:

没有答案