在深度学习中，两个3 * 3卷积滤波器和一个5 * 5卷积滤波器有什么区别？

Question

例如，对于famous AlexNet architecutre (original paper)，使用two 3*3 convolution filters与使用one 5*5 convolution filter有什么区别？

two 3*3 convolution filters和one 5*5 convolution filter在下图中用red rectangle突出显示了。

使用另一个5*5 convolution filter取代two 3*3 convolution filters，反之亦然吗？

Answer 1

我从论文<<Very Deep Convolutional Networks for Large-Scale Image Recognition>>中找到了。

  

而不是在第一次转换中使用相对较大的感受野。层（例如，Krizhevsky等人，2012年步幅为4的11×11，或（Zeiler＆Fergus，2013; Sermanet等人，2014年）步幅为2的7×7，我们使用非常小的3×3接收层整个网络中的所有场都与每个像素的输入进行卷积（步长为1）。不难看出，两个3×3的转换层（在它们之间没有空间合并）的堆栈具有5×5的有效接收场。三个这样的层具有7×7的有效接收场。

1. 两个3 * 3卷积滤波器等效于一个5 * 5卷积滤波器。

2. 两个3 * 3卷积滤波器比一个5 * 5卷积滤波器具有更少的参数。

3. 两个3 * 3卷积滤波器将比一个5 * 5卷积滤波器使网络更深入，提取的特征也更复杂。

论文：https://arxiv.org/pdf/1409.1556.pdf

Answer 2

如果您仍有疑问，希望本文能帮到您。

如果你堆叠两个 3x3 conv 层，它最终会得到一个关于输入的感受野 5（与一个 5x5 conv 层相同）。但是，使用像 3x3 这样较小的 conv 层的优点是它需要更少的参数（你可以做两个 3x3 层和一个 5x5 层的参数计算 --> 像 2*(3 3) = 18 和 1(5*5) = 25 假设 1 个通道）。此外，两个 conv 层之间的非线性度比一个 5x5 层要大，因此它具有更强的判别力。 对于感受野部分，我希望我的这篇论文可以帮助您进行可视化（顺便说一句，这是我考试的答卷）：