交叉熵，Softmax和反向传播中的导数项

Question

我目前对使用BackPropagation算法进行分类时使用Cross Entropy Error感兴趣，我在输出层使用Softmax激活函数。

从我收集到的内容中，您可以使用Cross Entropy和Softmax将衍生产品看起来像这样：

Error = targetOutput[i] - layerOutput[i]

这与平均误差：

不同

Error = Derivative(layerOutput[i]) * (targetOutput[i] - layerOutput[i])

那么，当输出层使用Softmax激活函数进行交叉熵分类时，您是否只能删除导数项？例如，如果我使用交叉熵错误（使用TANH激活函数）进行回归，我仍然需要保留衍生术语，对吗？

我无法在此找到明确的答案，我也没有尝试过这方面的数学计算（因为我生锈了）。

Answer 1

您不会在输出图层中使用导数项，因为您会得到“实际”错误（输出与目标之间的差异），在隐藏图层中，您必须使用反向传播计算近似误差。

我们正在做的是近似，将下一层的误差导数与当前层的权重相对应，而不是当前层的误差（未知）。

致以最诚挚的问候，