Question

我是神经网络的新手。我有1K示例的训练数据集。每个示例包含5个功能。

最初，我提供了一些重量值。

那么，对于与每个示例关联的权重，是否存储了1K值，或者所有1K示例的权重值是否保持相同？

例如：

example1 => [f1,f2,f3,f4,f5] -> [w1e1,w2e1,w3e1,w4e1,w5e1]
example2 => [f1,f2,f3,f4,f5] -> [w1e2,w2e2,w3e2,w4e2,w5e2]

此处w1表示首重，e1，e2表示不同的示例。

or example1,example2,... -> [gw1,gw2,gw3,gw4,gw5]

此处g表示全局，w1表示要素1的权重，如此。

Answer 1

从神经网络中的单个节点开始。它的输出是sigmoid函数应用于输入的线性组合，如下所示。

因此，对于5个特征，您将为神经网络的每个节点提供5个权重+ 1个偏差。在训练时，输入一批输入，计算神经网络末端的输出，相对于实际输出计算误差，并根据误差反演梯度。简而言之，根据误差调整权重。

因此，对于每个节点，您有6个权重，并且根据节点的数量（取决于图层的数量和图层的大小），您可以计算权重的数量。所有权重每批更新一次（因为您正在进行批量培训）