为什么rnn的平均重量不断攀升？

Question

我正在使用Pybrain来训练一个反复出现的神经网络。然而，重量的平均值不断攀升，并且在几次迭代之后，列车和测试精度变得更低。现在，列车数据的最高性能约为55％，测试数据约为50％。 我想也许由于它的高重量，rnn有一些训练问题。我该如何解决？提前谢谢。

Answer 1

限制网络参数的常用方法是使用受约束的错误功能，它会以某种方式惩罚参数的绝对大小。这样做是在“重量衰减”中进行的，您可以在其中将权重平方误差加到权重||w||的范数中。通常这是欧几里德规范，但有时也是1范数，在这种情况下它被称为“Lasso”。请注意，重量衰减也称为岭回归或Tikhonov正则化。

在PyBrain中，根据文档中的this page，可以使用Lasso版本的权重衰减，可以通过参数wDecay进行参数化。