非常深的神经网络训练错误

Question

理论上，随着我们增加神经网络的层数，训练误差必须减少。但实际上它会降低到一定程度并且会增加。为什么会发生这种情况？（正如Andrew Ng在课程中提到的那样）

Answer 1

因为它足以记住训练数据并失去其泛化能力。