SeqSelfAttention 中的注意力宽度度量如何?

时间:2021-05-07 19:57:46

标签: tensorflow

我想为自注意力层初始化一个注意力宽度,但我无法描述如何测量与我的 seqtoseq 模型的整个序列输入相关的宽度。

我基本上和最初都是从这个开始的,但我不知道 15 到底是什么意思..?

model.add(SeqSelfAttention(attention_width=15, attention_activation='sigmoid'))

0 个答案:

没有答案