如何在Keras中进行自注意力(变压器)的二维输出

时间:2019-12-26 21:58:47

标签: python keras keras-layer transformer attention-model

我正在尝试通过此代码对推文分类任务进行自我关注

model = Sequential()
model.add(Embedding(vocab_size, embedding_size, weights=[embedding_matrix], input_length=max_length, trainable=False))
model.add(SeqSelfAttention(attention_activation='softmax'))
model.add(Dense(2,activation="softmax"))

最后一层(密集)返回的输出形状是(None,100,2),但是我希望它是(None,2)。

PS。我不想在自我关注部分上方添加新的RNN层。我知道这是解决方案

0 个答案:

没有答案