卷积卷积层中的向前和向后传递

Question

我目前正在努力正确地实现转置卷积层。这里有一些草图来说明我当前的实现。

这是插图的描述：

• 输出：转置卷积的输出。

• 内核：转置卷积操作中使用的内核或过滤器。

• 输入：转置卷积层的输入。
• delta_in：：顶层的增量，为当前层提供输入。
• delta_out：当前层输出的增量

前进通行证：

通过将输入值与内核值相乘来实现前向传递。

后退通行证：

通过将内核卷入下一层的传入增量上来计算内核的梯度。实际上，这会导致渐变变得非常大。

顶层的梯度计算（增量）是通过计算输出增量和内核值之间的点积来实现的。

由于转置式积木涉及切换前进和后退通行证，因此我想出了这种解决方案。结果，在几批处理后（使用ReLU），该层的输出仅包含零。