反向传播中的梯度维

时间:2019-09-05 03:08:44

标签: neural-network backpropagation softmax cross-entropy

采用一个简单的神经网络,它接收维度NxF的数据,并输出NxC,其中N,F和C分别代表样本,特征和C输出神经元的数量。不用说,考虑到我们正在处理多类分类问题,将使用具有交叉熵的softmax函数。我对如何计算反向传播的梯度有一些了解。我在下面给出了梯度计算步骤。有人可以澄清我要去哪里了。

gradient_calculation_part1 gradient_calculation_part2

1 个答案:

答案 0 :(得分:0)

我在计算softmax的梯度时做错了计算。尺寸为NxC而不是NxCxC,因此所有内容均正确排列。