我写了一个多层感知器并尝试近似正弦函数。
我的网络只包含一个带有50个神经元的隐藏层(输入层和输出层当然只有1个神经元)。隐藏层中使用的激活函数是tanh,输出层是线性的。学习率设定为0.0001,动量0.9(正常动量不是Nesterov动量)训练模式在线,因为数据生成没有噪音。权重和偏差随机生成,均值= 0;
在10000个时期之后,我的网络结果绘制在下面(上图是真正的正弦函数,下图是我的网络输出),虽然它不是太糟糕,但我无法实现精确的正弦函数。
任何人都可以给我建议更好的配置,以获得更好的错误收敛。