有目的地过度拟合神经网络

Question

从技术上讲，鉴于网络足够复杂且时间充足，是否总是可以将任何数据集过度拟合到训练误差为0的位置？

Answer 1

神经网络是通用逼近器，这几乎意味着只要存在从输入到输出的确定性映射f，总是存在一组参数（对于足够大的网络而言，为您提供任意关闭的错误，以尽可能减少错误，但：

• 如果数据集是无限的（它是一个分布）那么最小可获得的错误（称为贝叶斯风险）可以大于零，而是一些值e（几乎是衡量＆＃34;重叠＆＃34;不同类别） /值）。
• 如果映射f是非确定性的，则再次存在非零贝叶斯风险e（这是一种数学方式，表示给定点可以具有＆＃34;多个＆＃34;值，具有给定概率）< / LI>
• 任意关闭不意味着最小化。因此即使最小误差为零，也不意味着你只需要足够大的＆＃34;网络到零，你可能总是最终得到velieery小epsilon（但你可以减少它，只要你想要）。例如，在具有sigmoid / softmax输出的分类任务上训练的网络不能获得最小的对数损失（交叉熵损失），因为您总是可以移动您的激活＆＃34;更接近1＆＃34;或者＆＃34;接近0＆＃34;，但你无法实现这些。

因此从数学角度来看，答案是 no ，从实际的角度来看 - 在有限训练集和确定性映射的假设下 - 答案是是。

特别是当您询问分类的准确性，并且每个数据点都有唯一标签的有限数据集时，可以很容易地手动构建具有100％准确度的神经网络。然而，这并不意味着可能的损失最小（如上所述）。因此，从优化的角度来看，您没有获得＆＃34;零错误＆＃34;。