我认为卷积层应该完全连接（参见this和this）。也就是说，每个要素图应连接到上一层中的所有要素图。但是，当我查看this CNN可视化时，第二个卷积层未完全连接到第一个卷积层。具体来说，第二层中的每个要素图连接到第一层中的3~6（全部）要素图，并且我没有看到其中的任何图案。问题是
答案 0 :(得分：2)
神经网络具有显着的特性，即知识不是专门存储在任何地方，而是以分布式的方式存储。如果你采用一个有效的网络，你通常可以削减大部分，并且仍然可以获得大致相同的网络。
相关的影响是确切的布局不是很关键。 ReLu和Sigmoid（tanh）激活函数在数学上非常不同，但两者都很有效。同样，图层中确切的节点数并不重要。
从根本上讲，这与在训练中优化所有权重以最小化误差函数或至少找到局部最小值的事实有关。只要有足够的权重且它们足够独立，就可以优化误差函数。
但是，还有另一个影响需要考虑。由于权重太大而训练数据不足，您无法很好地优化网络。正规化只有很大帮助。 CNN的关键见解是它们的权重小于完全连接的网络，因为CNN中的节点只连接到前一层中节点的一个小的局部邻域。
因此，这个特定的CNN甚至比连接所有要素图的CNN的连接更少，因此权重更小。这允许您为给定数量的数据提供更多和/或更大的地图。这是最好的解决方案吗？也许 - 选择最佳布局仍然是一种黑色艺术。但这不是先验不合理的。