卷积神经网络中的1x1、3x3、5x5内核

Question

我正在使用cnn进行图像分类，我想了解cnn转换层中1x1、3x3、5x5大小内核之间的区别。每个内核的效果，用法，优缺点。何时使用哪个内核大小。内核的大小取决于数据的类型还是数据的大小。

Answer 1

让我们将内核大小分为大小两部分，小部分为1x1、3x3，大部分为5x5。

现在，两种类型的内核之间的各种比较如下：

• 接受域：小内核将具有较小的接受域，这意味着它将一次查看很少的像素，而大内核将查看较大的视野。反过来，这意味着由小内核提取的特征将是高度局部的，而从大内核提取的特征将是通用的并且分布在整个图像上。
• 提取的信息量：小内核将提取小的复杂特征，而大内核将提取更简单的特征。大内核提取的特征量将比小内核少得多。
• 关于网络：
  • 小内核将导致图像尺寸的缓慢减小，从而使网络更深，而大内核将真正快速地减小图像的大小。在小内核中，权重共享要好于大内核。例如：两个3x3内核中的权重数量= 3x3 + 3x3 = 18，而5x5中的权重数量为25。
• 内存：由于较小的内核往往会使网络更深，因此将需要更多的内存，而较大的网络往往会使网络更小，因此需要较少的内存。

因此，3x3内核是1x1、3x3和5x5内核中的一种流行选择，既可以减小图像尺寸，又可以捕获邻域信息。但这可能并不适用于所有数据集，对于不同的数据集，您将不得不尝试不同的内核大小，并查看哪种性能最适合您。但是，是的，您需要考虑一下要在图像中捕获的功能的复杂性这一事实。

可能有用的说明：
 -1x1卷积在降低图像尺寸方面很重要。您可以在这里阅读有关内容：https://iamaaditya.github.io/2016/03/one-by-one-convolution/
 -如果使用图像大小的内核（大内核），它将作为密集/完全连接的层工作。