具有softmax数学偏导数的交叉熵损失函数的反向传播

Question

我正在尝试使用输出层中的交叉熵代价/损失函数和softmax激活函数来解决反向传播算法的数学问题。

用于三类分类的网络体系结构如下：

输入层有两个输入神经元（i1和i2）

只有一个隐藏层包含3个神经元（h1，h2和h3）

输出层具有3个输出神经元（o1，o2和o3）。这些输出分数或对数被输入到softmax函数中，该函数随后输出概率（S1，S2和S3）。

我正在附上一张手绘图，以直观地表示神经网络。

w1是从隐藏神经元h1到输出神经元o1的权重。

而且，w13是从输入神经元i1到隐藏神经元h1的权重。

我想出的数学偏导数方程是：

OR：

其中，S_1是第一类的softmax输出，out_o1是第一输出神经元的输出，net_01是输出神经元o1的网络输入。

我的数学偏导数方程正确吗？

此外，我想计算以下项的偏导数：

方程应该是什么样？

谢谢！