在3层MLP中，为什么隐藏权重的输入应该是随机的？

Question

对于3-1-1层的示例，如果权重被初始化，则MLP可能无法很好地学习。但为什么会这样呢？

Answer 1

看起来您的问题标题中有拼写错误。我猜你的意思是为什么隐藏层的权重是随机的。对于您指示的示例网络（3-1-1），它无关紧要，因为您在隐藏层中只有一个单元。但是，如果在完全连接的网络的隐藏层中有多个单元（例如，3-2-1），则应将权重随机化，否则，隐藏层的所有权重都将相同地更新 。这不是你想要的，因为每个隐藏层单元都会产生相同的超平面，这与在该层中只有一个单元没什么不同。

Answer 2

如果隐藏层中只有一个神经元，则无关紧要。但是，想象一下隐藏层中有两个神经元的网络。如果它们的输入具有相同的权重，则两个神经元总是具有完全相同的激活，通过具有第二神经元没有额外的信息。并且在反向传播步骤中，这些权重将改变相等的量。因此，在每次迭代中，那些隐藏的神经元都具有相同的激活。