Question

我从几篇文章中了解到，要计算滤波器的梯度，您只需对输入量作为输入，对误差矩阵作为内核进行卷积。之后，您只需将滤波器权重减去梯度（乘以学习率）即可。我实施了此过程，但无法正常工作。

我什至尝试用笔和纸自己进行反向传播过程，但是我计算出的梯度并不能使滤镜性能更好。那么我是否理解整个过程错了？

编辑：我将提供一个示例，说明我对CNN中的反向传播及其问题的理解。

考虑卷积层的随机输入矩阵：

1、0、1

0，0，1

1、0、0

以及随机权重矩阵：

1、0

0，1

输出为（应用ReLU激活器）：

1，1

0，0

该层的目标是一个2x2的矩阵，该矩阵填充零。这样，我们知道权重矩阵也应该用零填充。

错误：

-1，-1

0，0

通过应用上述过程，渐变为：

-1，-1

1、0

因此，新的权重矩阵为：

2，1

-1，1

这里什么都没有。如果我重复此过程，则过滤器权重将达到极高的值。所以我一定在某个地方犯了一个错误。那我做错了什么呢？

Answer 1

我会给你一个完整的例子，虽然不会太简短，但希望你能得到。为了简单起见，我省略了偏置和激活功能，但是一旦获得它，添加它们也很简单。记住，向后传播本质上就像在简单的MLP中一样，在CNN中是相同的，但是除了乘法之外，还需要卷积。所以，这是我的示例：

输入：

.7 -.3 -.7 .5
.9 -.5 -.2 .9
-.1 .8 -.3 -.5
0 .2 -.1 .6

内核：

.1 -.3
-.5 .7

进行卷积运算（第一卷积层的结果，以及第二卷积层的输入）：

.32 .27 -.59
.99 -.52 -.55
-.45 .64 .13

L2内核：

-.5 .1
.3 .9

L2激活：

.73 .29
.37 -.63

在这里您将拥有一个平坦的层和一个标准的MLP或SVM来进行实际的分类。在反向传播过程中，您将获得一个增量，为方便起见，我们假设如下：

-.07 .15
-.09 .02

此大小将始终与展平层之前的激活大小相同。现在，要计算当前L2的内核增量，可以将L1的激活与上述增量进行卷积。我不会再写下来，但是结果将是：

.17 .02
-.05 .13

更新内核是通过L2.Kernel-= LR * ROT180（dL2.K）完成的，这意味着您首先旋转上面的2x2矩阵，然后更新内核。对于我们的玩具示例，结果是：

-.51 .11
.3  .9

现在，要计算第一个卷积层的增量，请回想一下在MLP中您具有以下内容：current_delta * current_weight_matrix。在Conv图层中，您几乎拥有相同的效果。您必须将L2层的原始内核（更新前）与当前层的增量进行卷积。但是这种卷积将是一次完整的卷积。结果证明是：

.04 -.08 .02
.02 -.13 .14
-.03 -.08 .01

有了这个，您将进入第一个卷积层，并将原始输入与这个3x3增量进行卷积：

.16 .03
-.09 .16

并以与上述相同的方式更新您的L1内核：

.08 -.29
-.5 .68

然后，您可以从前馈开始。上面的计算被四舍五入到小数点后两位，并使用.1的学习率来计算新的内核值。

TLDR：