在卷积神经网络(CNN)中,选择过滤器用于权重共享。例如,在下面的图片中,选择了具有步幅(相邻神经元之间的距离)1的3x3窗口。
所以我的问题是:如何选择窗口尺寸?如果我使用4x4且步幅为2,它会产生多大的差异?非常感谢提前!
答案 0 :(得分:7)
对此没有明确的答案:过滤器大小是您通常需要调整的超参数之一。但是,有一些有用的观察结果可能会对您有所帮助。通常首选较小的过滤器,但更大的数量。
示例:四个5x5
过滤器有100个参数(忽略偏差),而10个3x3
过滤器有90个参数。通过较大的滤镜,您仍然可以捕捉图像中的各种特征,但参数更少。有关here的更多信息。
现代CNN更进一步有了这个想法,并选择连续的3x1
和1x3
卷积层。这样可以进一步减少参数数量,但不会影响性能。请参阅evolution of inception network。
步幅的选择也很重要,但它会影响卷积后的张量形状,从而影响整个网络。一般规则是在常规卷积中使用stride=1
并使用填充保留空间大小,并在要对图像进行缩减采样时使用stride=2
。