Question

我正在尝试替换Keras NLP模型中的嵌入层。我已经为一种语言训练了该模型，但是我想将其转换为我可以比较嵌入的另一种语言。我希望通过用目标语言的索引到嵌入映射替换源语言的索引到嵌入映射来实现这一点。

我试图这样做：

from keras.layers import Embedding
from keras.models import load_model

filename = "my_model.h5"
model = load_model(filename)

new_embedding_layer = Embedding(1000, 300, weights=[my_new_embedding_matrix], trainable=False)
new_embedding_layer.build((None, None))
model.layers[0] = new_embedding_layer

当我打印出模型摘要时，这似乎奏效了：新的嵌入层具有正确数量的参数（1000 * 300 = 300,000）：

_________________________________________________________________
None
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
embedding_85 (Embedding)     multiple                  300000    
_________________________________________________________________
lstm_1 (LSTM)                (None, 128)               219648    
_________________________________________________________________
dense_1 (Dense)              (None, 23)                2967      
=================================================================
Total params: 522,615
Trainable params: 222,615
Non-trainable params: 300,000

但是，当我使用新模型处理新示例时，似乎什么都没有改变：它仍然接受值大于新词汇量1000的输入序列，并返回与以前相同的预测。

seq = np.array([10000])
model.predict([seq])

我还注意到，新嵌入层的输出形状是“多个”，而不是（无，无，300）。也许这与问题有关？

有人可以告诉我我想念什么吗？

Answer 1

如果您嵌入的图层具有相同的形状，则可以像以前一样简单地加载模型：

from keras.models import load_model

filename = "my_model.h5"
model = load_model(filename)

然后，您无需设置新的嵌入层，只需设置旧层的权重即可：

model.layers[idx_of_your_embedding_layer].set_weights(my_new_embedding_matrix)

在预训练的Keras模型中替换嵌入层

1 个答案: