Question

我想在5个训练点上训练RNN，每个序列的大小也为5。在测试时，我想发送一个数据点并计算输出。

任务是预测五个字符序列中的下一个字符（所有字符均编码为1-hot向量）。我尝试将测试数据点重复五次。但是，我确信这不是解决此问题的正确方法。

import numpy as np
import torch
import torch.nn as nn
import torch.nn.functional as F

# Define the parameters
H = [ 1, 0, 0, 0 ]
E = [ 0, 1, 0, 0 ]
L = [ 0, 0, 1, 0 ]
O = [ 0, 0, 0, 1 ]

# Define the model
net = nn.RNN(input_size=4, hidden_size=4, batch_first=True)

# Generate data
data = [[H,E,L,L,O],
        [E,L,L,O,H],
        [L,L,O,H,E],
        [L,O,H,E,L],
        [O,H,E,L,L]]
inputs = torch.tensor(data).float()
hidden = torch.randn(1,5,4) # Random initialization
correct_outputs = torch.tensor(np.array(data[1:]+[data[0]]).astype(float).tolist(), requires_grad=True)

# Set the loss function
criterion = torch.nn.MSELoss()

# Set the optimizer
optimizer = torch.optim.SGD(net.parameters(), lr=0.1)

# Perform gradient descent until convergence
for epoch in range(1000):
    # Forward Propagation
    outputs, hidden = net(inputs, hidden)
    # Compute and print loss
    loss = criterion(nn.functional.softmax(outputs,2), correct_outputs)
    print('epoch: ', epoch,' loss: ', loss.item())
    # Zero the gradients
    optimizer.zero_grad()
    # Backpropagation
    loss.backward(retain_graph=True)
    # Parameter update
    optimizer.step()

# Predict
net(torch.tensor([[H,E,L,L,O]]).float(),hidden)

我收到以下错误：

RuntimeError: Expected hidden size (1, 1, 4), got (1, 5, 4)

我知道火炬想要一个张量为（1,1,4）的张量，但是我不确定如何将初始隐藏状态从（1、5、4）转换为（1、1、4）。任何帮助将不胜感激！

Answer 1

由于使用以下原因，您会收到错误消息：

hidden = torch.randn(1,5,4) # Random initialization

您应该使用：

hidden = torch.randn(1,inputs.size(0),4) # Random initialization

以应付输入的批量大小。因此，请执行以下操作：

# Predict
inputs = torch.tensor([[H,E,L,L,O]]).float()
hidden = torch.randn(1,inputs.size(0),4)
net(inputs, hidden)

建议：通过遵循PyTorch中的一些好示例来改善您的编码风格。

Answer 2

另一种选择是在定义模型时只删除关键字参数Favorite。

RecyclerView

如何在PyTorch中为RNN使用不同的测试批次大小？

2 个答案: