用神经网络逼近z = y ^ 2 + x ^ 2

Question

神经网络预计接近z = y ^ 2 + x ^ 2函数的速度有多快？ 当我输入负值并且所有权重变得非常小时（* 10 ^ -16！如果使用2x40x1）或全部变为相同数字（如果使用2x20x1则为-0.16和0.16），我似乎也很挣扎。我每个时期使用2000个输入示例。

然而，如果所有输入都是正数，它似乎可以学习。这意味着什么？

您认为我应该使用每个纪元，架构和时代数量的多少输入对来解决这个问题？

我正在使用backprop，神经网络没有偏差，有1个隐藏层（我的输入都在-1和+1之间，所需的输出[0,1]）。

谢谢，

Answer 1

对于正输入，该功能是单调的。一旦你越过原点，就不再是这种情况了。

我认为您可能需要允许非零偏差才能开发出具有非单调输出的神经网络。

另外，请确保您的实现没有进行有限优化，许多优化算法都包含非负性假设。