神经网络中的函数逼近（如正弦）是如何工作的？

Question

我第一次学习神经网络。我试图理解如何使用单个隐藏层函数逼近。我在stackexchange上看到this example，但在经过one of the answers之后我遇到了一些问题。

假设我想近似0到3.14弧度之间的正弦函数。那么我有1个输入神经元吗？如果是这样，那么接下来如果我假设隐藏层中的K神经元并且每个神经元都使用S形传递函数。然后在输出神经元（如果说它只是使用隐藏层的结果的线性和），如何输出除了sigmoid形状之外的东西？难道线性和也不应该是S形的吗？或者简而言之，如何在神经网络中使用这种架构来近似正弦函数。

Answer 1

这是可能的，它被正式声明为universal approximation theorem。它适用于任何非常数，有界和单调增加的连续激活函数

我实际上并不知道正式的证据，但为了直观地了解我可以推荐以下章节：A visual proof that neural nets can compute any function

它表明，通过足够的隐藏神经元和正确的参数，您可以创建步骤函数作为隐藏层的总和输出。使用阶梯函数，很容易争论如何至少粗略地逼近任何函数。现在为了使最终输出正确，隐藏层的总和必须是，因为最终的神经元然后输出：。正如已经说过的那样，我们能够至少达到一定的准确度。