神经网络如何“记住”它学到的东西？

Question

我想全神贯注于理解神经网络，从我所看到的一切中，我理解它们是由节点创建的层组成的。这些节点通过“加权”连接彼此连接，并且通过将值传递通过输入层，这些值将通过节点传播，并根据连接的“权重”更改其值（对吗？）。最终它们到达带有值的输出层。我了解该过程，但是看不到如何导致网络受到培训。网络是否记住加权连接之间的模式？它如何记住这种模式？

Answer 1

每个节点上的每个权重和偏差都像一个存储的变量。当新数据导致其权重和偏差发生变化时，这些变量也会发生变化。最终，完成了训练有素的算法，权重和偏差不再需要更改。然后，您可以根据需要存储有关所有节点，权重，偏差和连接的信息。此信息是您的模型。因此，“记住”只是权重和偏差的值。

Answer 2

神经网络记住通过权重和偏见而学到的东西。让我们用一个二进制分类的例子来解释它。在正向传播期间，计算出的值为 概率（例如p），实际值为y。现在，使用以下公式计算损失： -（ylog（p）+（1-y）log（1-p））。一旦计算出损失，该信息就会向后传播，并使用该损失来计算权重和偏差的对应导数。现在，根据这些导数调整权重和偏差。在一个时期内，将传播所有存在的示例，并调整权重和偏差。然后，将相同的示例向前和向后传播，并在每个步骤中相应地调整权重和偏差。最后，在最大程度地减少损失或达到高精度（确保不要过度拟合）之后，我们可以存储权重和偏差的值，这就是神经网络所学到的。