卷积神经网络中滤波器的差异

时间:2016-05-26 12:47:42

标签: conv-neural-network

创建卷积神经网络(CNN)时(例如,如下所述) https://cs231n.github.io/convolutional-networks/)输入层与一个或多个过滤器连接,每个过滤器代表一个特征图。这里,滤波器层中的每个神经元仅与输入层的几个神经元连接。 在最简单的情况下,我的n个过滤器中的每一个都具有相同的维度并使用相同的步幅。

我的(紧身针织)问题是:

  1. 如何确保过滤器学习不同的功能,尽管它们使用相同的补丁进行培训?
  2. " Depends中"在启动网络时,对随机分配的值(对于权重和偏差)进行过滤的学习特征?

1 个答案:

答案 0 :(得分:2)

我不是专家,但我可以对你的问题说些什么。说实话,听起来你已经有了正确的想法:它特别是过滤器中权重/偏差的初始随机化,促进了他们学习不同特征的倾向(虽然我相信错误中的随机性可以从网络的更高层传播出来也发挥作用。)

如@ user2717954所示,无法保证过滤器将学习独特的功能。但是,每次将训练样本或批处理的错误反向传播到给定的卷积层时,每个滤波器的权重和偏差都会略微修改,以提高网络的整体准确性。由于初始权重和偏差在每个过滤器中都是不同的,因此大多数过滤器可能(并且可能给出合适的模型)最终稳定到代表一组强大的独特特征的值。

除了权重的适当随机化之外,这也说明了为什么使用具有足够数量的滤波器的卷积层是至关重要的。如果没有足够的过滤器,网络将受到根本限制,因此在给定的抽象层上存在重要的,有用的模式,而这些模式根本无法由网络表示。