如何在深度学习中选择CNN的窗口大小？

Question

在卷积神经网络（CNN）中，选择过滤器用于权重共享。例如，在下面的图片中，选择了具有步幅（相邻神经元之间的距离）1的3x3窗口。

enter image description here

enter image description here

所以我的问题是：如何选择窗口尺寸？如果我使用4x4且步幅为2，它会产生多大的差异？非常感谢提前！

Answer 1

对此没有明确的答案：过滤器大小是您通常需要调整的超参数之一。但是，有一些有用的观察结果可能会对您有所帮助。通常首选较小的过滤器，但更大的数量。

示例：四个5x5过滤器有100个参数（忽略偏差），而10个3x3过滤器有90个参数。通过较大的滤镜，您仍然可以捕捉图像中的各种特征，但参数更少。有关here的更多信息。

现代CNN更进一步有了这个想法，并选择连续的3x1和1x3卷积层。这样可以进一步减少参数数量，但不会影响性能。请参阅evolution of inception network。

步幅的选择也很重要，但它会影响卷积后的张量形状，从而影响整个网络。一般规则是在常规卷积中使用stride=1并使用填充保留空间大小，并在要对图像进行缩减采样时使用stride=2。