我在TensorFlow 2.0中使用Keras。我有一个嵌入层,其初始化如下:
embed = Embedding(len(embedding_weights), params['embedding_dim'], input_length=sequence_length, mask_zero=True, weights=[embedding_weights],name="embedding")(model_input)
embedding_weights
是单词嵌入的矩阵。 embedding_weights[0]
是一行零。
但是,对于输入= [1,2,5,1,5, 0,0,0 ...],
,嵌入层为填充零输出一个非零向量。这些不应该是零吗?为什么模型要更新嵌入矩阵中的零向量?