神经网络中的学习曲线和验证曲线

Question

我正在尝试构建一个神经网络来研究连续输出变量的一个问题。使用的神经网络的示意图描述如下

Schematic representation of neural network: input layer size = 1; hidden layer size = 8; output layer size = 1.

我试图理解学习曲线（误差与训练样本数量）和验证曲线（误差与正则化参数lambda）。

Learning curves (lambda = 0.01, and lambda = 10) and validation curve.

我对机器学习相对较新，我想知道是否有人可以就这些结果的分析给我一些建议。你觉得lambda = 0.01的学习曲线看起来不错吗？关于验证曲线，您是否也观察到最接近\ lambda = 0.01？你会建议增加隐藏层的数量吗？

提前致谢，

d

Answer 1

关于你的lambda = 10图表，我认为你的学习率太大了，因为训练批次的错误应该小于验证批次的错误。

λ= 0.01的曲线似乎更合理，但训练误差曲线没有显着改善。

我建议您根据成本价值逐步降低lambda值。这样你就可以在神经网络学习时不断调整lambda。