神经网络作为通用逼近器

Question

universal approximation theorem的正式陈述指出，具有单个隐藏层的神经网络可以近似任何在m维单位超立方体上连续的函数。 但是，不连续的函数如何知道它们是否总能被神经网络近似？

例如，取一个计算数字pi的第n位数的函数。 如果我在这个数据上训练一些隐藏层神经网络:( n，pi的第n个数字），它最终是否能够为看不见的n返回正确的值？ 多个隐藏层神经网络怎么样？

Answer 1

  

通用逼近定理的形式陈述指出   具有单个隐藏层的神经网络可以近似任何函数   这在m维单位超立方体上是连续的。但是怎么样   不连续的功能是否是已知的   它们总是可以被神经网络近似？

是的，大多数非连续函数可以通过神经网络来近似。实际上，该函数只需要是可测量的，因为根据Lusin定理，任何可测量函数在几乎所有领域都是连续的。这对于通用逼近定理来说已经足够了。

但是，请注意，该定理仅表示一个函数可以由神经网络表示。它没有说明这种表述是否可以学习或是否有效。事实上，对于接近高度变化函数的单层网络，随着函数的复杂性，大小呈指数级增长。

  

例如，取一个计算数字pi的第n位数的函数。   如果我在这个数据上训练一些隐藏层神经网络：（n，n'th   pi的数字，它最终是否能够返回正确的值   看不见的？多个隐藏层神经网络怎么样？

没有。有无数个函数返回π的任何数字子序列。网络永远不会知道你想要它学习哪一个。神经网络通过利用函数平滑性来概括，但是你想要它学习的序列根本不是平滑的。

换句话说，您需要一个精确的表示。近似对于预测π的数字没有用。通用逼近定理只能保证近似的存在。

Answer 2

那么，考虑到pi的第n位数的公式存在，那么它可以用NN表示（连续函数为1 HL，非连续为2HL）。

唯一的问题是学习过程 - 很可能几乎不可能逃避浅层的局部极小（这是我的猜测）。