Question

我是 PyTorch 的新手。我想在 PyTorch 中复制 Keras 的结果。

PyTorch 实现：

class ENCODER_RNN(nn.Module):
    def __init__(self, input_size, hidden_size):
        super(ENCODER_RNN, self).__init__()
        self.embedding = nn.Embedding(input_size, hidden_size)
        self.gru = nn.GRU(hidden_size, hidden_size, num_layers=2, batch_first=True)
        self.linear_layer_1 = nn.Linear(hidden_size, hidden_size)
        self.linear_out = nn.Linear(hidden_size, input_size)
        
    def forward(self, input_vector, hidden_state=None):
        embed_input = self.embedding(input_vector)
        output, hidden = self.gru(embed_input, hidden_state)
        output = F.relu(self.linear_layer_1(output))
        output = F.softmax(self.linear_out(output[:,2]), dim=1)
        return output, hidden

encoder_optimizer.zero_grad()
train_tensor = torch.tensor(train_input, device=DEVICE)
output_tensor = torch.tensor(output, device=DEVICE)
hidden = None
loss = 0
output, hidden = encoder(train_tensor, hidden)
loss += criterion(output, output_tensor)
loss.backward()
encoder_optimizer.step()

我假设 hidden size = 512。

Keras 实现：

model = Sequential()
model.add(Embedding(vocab_size, 50, input_length=seq_length))
model.add(LSTM(100, return_sequences=True))
model.add(LSTM(100))
model.add(Dense(100, activation='relu'))
model.add(Dense(vocab_size, activation='softmax'))
print(model.summary())

input_size = vocab_size = 10437。

我正在使用相同批次长度的相同数据集训练相同的两个模型。 Keras 模型的损失本质上在减少，但 PyTorch 模型的损失并没有减少。此外，它本质上是振荡的。

请帮帮我。提前致谢。

PyTorch 模型的损失没有减少，但 Keras 的损失在减少

0 个答案: