如何神经网络提取功能

Question

我是神经网络的新手。我在很多平台上都有一些教程，但有一件事我不理解。

在一个简单的多层感知器中： 我们有输入层，这个例子的隐藏层（与输入层的神经元数量相同）和一个单位的输出层。

我们随机地在一小部分值中初始化隐藏层中单位的权重。 现在，输入层与隐藏层完全连接。 因此隐藏层中的每个单元将接收相同的参数。他们如何相互提取不同的特征？

感谢您的解释！

Answer 1

  

我们随机地在隐藏层中初始化单位的权重   一系列小值。现在，输入层完全连接   隐藏层。所以隐藏层中的每个单元都将被接收   相同的参数。他们如何提取不同的功能   来自彼此？

实际上每个神经元都没有相同的值。要获得隐藏图层的激活，请使用矩阵方程Wx + b在这种情况下，W是形状的权重矩阵（隐藏大小，输入大小）。 x是隐藏形状层（输入大小）的输入向量，b是形状偏差（隐藏大小）。这导致形状激活（隐藏尺寸）。因此，虽然每个隐藏的神经元将“看到”相同的x向量，但它将采用x的点积与其自己的随机行向量并添加其自己的随机偏差，这将给予该神经元不同的值。包含在W矩阵和b矢量中的值是经过训练和优化的。由于他们有不同的起点，他们最终将通过渐变体面学习不同的特征。