我目前正在学习一些关于神经网络的知识。我无法实现的一个问题是神经网络如何反映非线性行为。根据我的理解，不可能使用神经网络反映在紧凑集内的非线性行为。
例如，如果我从this question获取该函数：
y = x^2
我将使用具有单个输入和单个输出的神经网络，神经网络可以为每个紧凑集创建最好的[x0 ... xn]是从集合的一端跨越到另一端的线性函数，最后，网内的所有计算都是线性的。
我对这个概念有一些误解吗？
答案 0 :(得分：1)
人工神经网络对非线性行为进行建模的能力来自（通常）非线性激活函数。 如果激活函数是线性的，那么训练网络的过程只是创建输入和输出数据的线性（或多线性）拟合的另一种方式。
答案 1 :(得分：1)
神经网络中的激活功能恰好是带来非线性的部分。如果使用线性激活函数，则无法训练非线性模型（因此适合二次或其他非线性函数）。
我想，您感兴趣的部分是通用近似定理，它表示任何连续函数都可以用具有单个隐藏层的神经网络近似（对激活函数应用某些假设）。考虑到，这个定理没有说明这种网络的优化（它不能保证你可以用特定的算法训练这样的网络，但只有这样的网络存在）。此外，它没有说明你应该使用的神经元数量。
您可以查看以下链接，以获取更多详细信息： 具有sigmoid激活功能的原始证明：http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.441.7873&rep=rep1&type=pdf
更友好的推导：http://mcneela.github.io/machine_learning/2017/03/21/Universal-Approximation-Theorem.html