Question

我正在尝试进行seq2seq预测。为此，我有一个LSTM层，然后是一个完全连接的层。我在培训阶段聘请了教师培训，并且在测试阶段想跳过此步骤（在这里我可能错了）。我还没有找到直接的方法，所以我采用了如下所示的方法。

def forward(self, inputs, future=0, teacher_force_ratio=0.2, target=None):
    outputs = []
    for idx in range(future):
        rnn_out, _ = self.rnn(inputs)
        output = self.fc1(rnn_out)
        if self.teacher_training:
            new_input = output if np.random.random() >= teacher_force_ratio else target[idx]
        else:
            new_input = output
        inputs = new_input

我使用bool变量teacher_training来检查是否需要教师培训。这个对吗？如果是，还有更好的方法吗？谢谢。

Answer 1

在PyTorch中，所有扩展nn.Module的类都有一个名为training的kwarg布尔参数。因此，我们应该使用teacher_training参数来代替training。该参数会根据您的模型训练模式（model.train()和model.eval()）自动设置。

师资培训PyTorch

1 个答案: