FF神经网络的灵敏度如何？

Question

CrossPost：https://stats.stackexchange.com/questions/103960/how-sensitive-are-neural-networks

我知道修剪，并且不确定它是否会移除实际神经元或使其重量为零，但我问这个问题好像没有使用修剪过程。

在具有大量噪声的大型数据集上的各种大小的前馈神经网络：

1. 是否可能有一个（或一些微不足道的数量）额外或缺少隐藏的神经元或隐藏层构成或破坏网络？或者，如果没有必要，它的突触权重会降低到零吗？如果缺少一个或两个神经元，它会补偿其他神经元吗？
2. 在进行实验时，是应该一次添加一个神经元还是一组X？什么是X？增量为5？
3. 最后，每个隐藏层是否应包含相同数量的神经元？这通常是我在示例中看到的。如果不是，如果不依靠纯粹的实验，你会如何以及为什么要调整它们的尺寸？

如果更大的网络能够适应解决方案，我宁愿过度使用并等待更长时间的收敛。我尝试了很多配置，但仍然难以衡量最佳配置。

Answer 1

1）是的，绝对的。例如，如果隐藏层中的神经元太少，则模型将过于简单并具有较高的偏差。同样，如果你有太多的神经元，你的模型会过度拟合并且具有很大的差异。添加更多隐藏层允许您对非常复杂的问题进行建模，例如对象识别，但是有很多技巧可以使更多隐藏层工作;这被称为深度学习领域。

2）在单层神经网络中，它通常是一个经验法则，以2倍于输入数量的神经元开始。您可以通过二分搜索确定增量;即通过一些不同的架构，看看准确性如何变化..

3）不，绝对不是 - 每个隐藏层都可以包含您想要包含的神经元数量。没有其他方法可以通过实验来确定它们的尺寸;你提到的所有内容都是必须调整的超参数。

我不确定你是否在寻找一个简单的答案，但也许你会对一种叫做辍学的神经网络正规化技术感兴趣。辍学基本上是randomely＆＃34;删除＆＃34;训练期间的一些神经元迫使每个神经元成为良好的特征探测器。它可以极大地防止过度拟合，你可以继续将神经元的数量设置得很高，而不必担心太多。请查看此文章以获取更多信息：http://www.cs.toronto.edu/~nitish/msc_thesis.pdf