为什么我的神经网络永远不会过拟合？

Question

我正在用游戏数据训练具有10个隐藏层的深层残差网络。

有人知道为什么我在这里没有过拟合吗？ 经过100次训练后，训练和考试损失仍在减少。

https://imgur.com/Tf3DIZL

Answer 1

仅几个建议：

1. 对于深度学习，建议甚至进行90/10或95/5拆分（Andrew Ng）
2. 曲线之间的微小差异意味着您的learning_rate没有被调整；尽量增加它（和可能，数epochs如果你将实施某种形式的“智能” LR-减少）
3. 它也是合理的DNN尝试与数据量小（10-100行）和迭代数量庞大的过拟合
4. 检查集合中的数据是否泄漏：每层内部的权重分析可能会帮助您