权重，如何以矩阵形式编写？

Question

在具有S形激活功能的神经网络的反向传播中，

体重更新规则由：

给出

NewWeight = OldWeight - alpha * D * A

其中alpha是学习率，A是前一层的激活，

D = (Y - Y')Y'(1-Y') ;D = Error Minimization, delta

其中Y =给定值，Y＆＃39;由输出层在神经网络中计算

在我的情况下，Y是4x1 = [0.3,0.2,0.4,0.1]，并且是Y＆＃39;是4x1 = [0.2,0.1,0.1,0.2]

如何计算D =（Y - Y＆＃39;）Y＆＃39;（1-Y＆＃39;）

（Y-Y＆＃39;）= 4x1和Y＆＃39; = 4×1，并且1＆gt;因此矩阵乘法是不可能的。 （1-Y＆＃39;）也是4x1。     我如何乘以{（Y - Y＆＃39;），Y＆＃39;，（1-Y＆＃39;）}来获得D？如果我必须执行转置，我应该转置哪个矩阵，以便净效果不变？

或者它是元素乘法？

Answer 1

确实是元素乘法。您需要将每个输出误差（Y-Y'）乘以相应输出的导数（w.r.t.权重），即S型激活的Y'（1-Y'）。将其视为“纠正的错误信号”。因此，D * A是矢量外积，它将为您提供与权重相同的矩阵。