使用矢量数据进行梯度下降

Question

我们应该构建一个前馈神经网络。

• 输入层有 3 个神经元。
• 隐藏层由 2 * 4 个神经元组成。
• 输出层由 2 个神经元组成。
• sigmoid 函数用作隐藏层的激活函数。
• 输出层不使用激活函数。
• 均方误差函数被指定为损失函数。

整个事情的转折点是三个神经元 (1,5) 中的每一个都给出了向量作为输入。前进阶段非常简单。对于反向传播，我不太了解梯度下降。当我尝试使用链式法则确定隐藏层 2 和输出层之间的增量权重 (W3.shape = (2,4)) 时，矩阵中的每个权重只能得到一个向量 (1,5)。

所以 dL/dw3_1 = dL/dout1 * dout1/dw1。 (输出层没有激活函数)

我应该如何更新权重，这只是一个数字？我不确定我是否完全正确理解了任务。我很高兴有任何链接或帮助。不幸的是，谷歌搜索“使用矢​​量数据的梯度下降”总是会想到“如何矢量化某些东西”。