前馈神经网络中的错误检查

Question

我的网络错误是否可能减少，然后再次增加？只是想检查我是否正确编码。

Answer 1

是的，错误可能会暂时增加。这是因为您没有一直测试一个输入和预期输出（并且您不应该这样做，因为那时网络将专门用于该特定输入输出集）。神经网络并没有暗中“知道”它正朝着正确的方向发展。您基本上遍历错误表面以查找错误低于特定阈值的位置。因此，错误在特定时期内可能会增加，但整体，您的错误率应该会随着反向传播根据错误调整权重而降低。

例如，假设您正在尝试创建可识别数字的神经网络。因此，您输入净输入为“1”和预期输出。输出不匹配，因此您可以调整权重。因此，这意味着网络识别“1”的误差较小。但是下一个输入可能是“4”，而“4”的错误可能更大，因此网络将再次自我调整。关键是要找到权重类别的“快乐媒介”，以便它们识别输入并在特定错误阈值内提供适当的输出。

但是，我不确定你的意思是“减少，然后增加到最后一个纪元”。您是否只培训了一定数量的时代，或者在您的网络达到某个错误阈值之前进行培训？

Answer 2

作为Vivin Paliath答案的补充，以下是典型培训的样子：

请注意，如果网络培训的学习率过高，可能会kill the training performance：

相关：What learning rate should be used for backprop?