我的NN在训练时似乎产生非常大的重量。如果神经网络中的权重大于1或小于-1,那么可以吗?
此外,极大的权重倾向于在输入和第一隐藏层之间的连接中。例如,输入隐藏图层权重看起来像这样:
-12.728901995585,-13.2337212413569,5.73922593605989,-5.12803672380726......
而隐藏输出权重看起来更像:
-0.00434217225630834,0.130458439630824,0.153923956195796,0.59407334088441
NN功能很好,但是大的重量是关注的,因为通常我看起来它们在-1和1之间。较大的权重是否正常?
感谢。
答案 0 :(得分:0)
根据这个例子https://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/你的NN在输入层和隐藏层之间的权重似乎与通常不同(假设前馈NN)。在给定示例的末尾,您将看到通过反向传播生成的更改的小小。
但是根据训练迭代次数和NN架构,也可能有很大的权重。同样更大的权重意味着前面的神经元比NN决定的后续神经元更有效。
一般来说,NN的内部价值很难理解。如果你的NN完成了这项工作,我想在某些层之间有很大的权重是可以的。
遗憾的是,我对这个问题并不十分熟练。因此,如果有任何修改和他们的解释是受欢迎的。我期待着向专家学习。