Question

我创建了一个生成模型，该模型在长度为129的填充序列上进行训练。我尝试添加一个遮罩层，但收到以下错误消息：

input_length" is 129, but received input has shape (None, 129, 7905).

vocab_size = 7905

seq_length_sent = 129

这是模型：

model = Sequential() 
model.add(Masking(mask_value=0, input_shape=(seq_length_sent, vocab_size)))
model.add(Embedding(vocab_size, 50, input_length=seq_length_sent)) 
model.add(LSTM(100, return_sequences=True)) 
model.add(LSTM(100))
model.add(Dense(100, activation='relu')) 
model.add(Dense(vocab_size, activation='softmax')) 
print(model.summary())

输入是填充的序列，已被标记化，因此每个单词都由整数表示。输出字是通过以下代码一键编码的：

X, y = sequences_sent[:,:-1], sequences_sent[:,-1] 
y = to_categorical(y, num_classes=vocab_size)

这是我第一次建立这样的模型，所以我不确定这种方法是否正确。

Answer 1

问题在于定义输入形状的位置。我假设模型输入是标记化的填充序列。因此，输入不应为seq_length_sent*vocab_size的形状，而应仅为seq_length_sent

的形状

因此，要解决您的问题，只需替换：

model.add(Masking(mask_value=0, input_shape=(seq_length_sent, vocab_size)))

使用

model.add(Masking(mask_value=0, input_shape=(seq_length_sent,)))

Answer 2

输入是填充的序列，已被标记化，因此每个单词都由整数表示。输出字是通过以下代码一键编码的：

X, y = sequences_sent[:,:-1], sequences_sent[:,-1] 
y = to_categorical(y, num_classes=vocab_size)

这是我第一次建立这样的模型，所以我不确定这种方法是否正确。

Answer 3

该错误来自您如何定义遮罩层。如果您的输入是填充单词序列，并且每个单词都经过一个热编码，那么您已经正确定义了掩蔽层。但是，如果您的输入是没有热编码的填充单词序列，则必须将遮罩层定义为

model.add(Masking(mask_value=0, input_shape=(seq_length_sent,)))

代替

model.add(Masking(mask_value=0, input_shape=(seq_length_sent,vocab_size))

在深度学习生成模型中创建掩盖层

3 个答案: