人工神经网络的深度

Question

根据this answer，人们不应该使用两个以上隐藏的神经元层。

根据this answer，中间层应该包含最多两倍的输入或输出神经元（因此，如果你有5个输入神经元和10个输出神经元，一个应该使用（最多）20个中间神经元层）。

这是否意味着所有数据将在神经元的数量范围内建模？

因此，例如，如果想要做任何事情，从建模天气（来自不同气象站的数据的百万输入节点）到简单的OCR（分辨率为1000x1000DPI的扫描文本），则需要相同数量的节点？

---

PS。

我的last question已关闭。还有另一个SE网站，这些问题是关于主题的吗？

Answer 1

您可能会过度拟合数据（又称高差异）。可以这样想：你拥有的神经元和层越多，你就会有更多的参数来更好地适应你的数据。

请记住，对于第一层节点，等式变为Z = sigmoid（sum（W * x）） 第二层节点变为Z2 = Sigmoid（sum（W * Z））

了解斯坦福大学教授的机器学习课程......这是一个很棒的在线课程和很好的工具作为参考。

Answer 2

  

在某些体系结构中，两个以上的隐藏层可能很有用   如级联相关（Fahlman和Lebiere 1990）和特殊情况   应用，如双螺旋问题（Lang和Witbrock 1988）   和邮政编码识别（Le Cun等，1989）。

• Fahlman，S.E。和Lebiere，C。（1990），“级联相关 学习架构，“NIPS2,524-532。
• Le Cun，Y.，Boser，B.，Denker，J.s.，Henderson，D.，Howard，R.E.， Hubbard，W。和Jackel，L.D。 （1989），“反向传播适用于 手写邮政编码识别“，Neural Computation，1,541-551。

有关详情，请查看"How many hidden layers should I use?" and "How many hidden units should I use?"上的comp.ai.neural-nets's FAQ部分。