神经网络模型中的隐藏层数

Question

有人能够向我解释或向我指出一些资源，说明为什么（或情况下）神经网络中有多个隐藏层是必要或有用的？

Answer 1

基本上更多的图层允许表示更多的功能。人工智能课程的标准书，Russell和Norvig的“人工智能，现代方法”，详细介绍了第20章中多层问题的原因。

重要的一点是，如果单个隐藏层足够大，则可以表示每个连续函数，但至少需要2个图层才能表示每个不连续函数。

但实际上，单层至少99％的时间都足够了。

Answer 2

1. 这更类似于大脑的工作方式（可能不一定是计算优势，但很多人正在研究NN以获得有关思维方式的洞察力，而不是解决现实世界的问题。） LI>
2. 使用更多图层更容易实现某种不变性。例如，无论图像在何处找到对象，或者对象的大小，都可以使用图像分类器。见Bouvrie, J. , L. Rosasco, and T. Poggio. "On Invariance in Hierarchical Models". Advances in Neural Information Processing Systems (NIPS) 22, 2009.

Answer 3

每一层都以指数方式有效地提高了适应的潜在“复杂性”（与向单个层添加更多节点的乘法方式相反）。