在我的单个样本的训练数据上过度拟合我的模型

Question

我试图在我的训练数据上过度拟合我的模型，该训练数据只包含一个样本。训练精度为1.00。但是，当我预测包含相同单个训练输入样本的测试数据的输出时，结果不准确。该模型已经训练了100个时期和损失~1e-4。 什么可能是错误的来源？

Answer 1

正如您的帖子评论所述，如果没有首先提供更多详细信息，则无法提供具体建议。

一般来说，过度拟合小批量（在您的情况下是一张图像）的方法实质上是提供三种健全性检查，即：

1. backprop正在运作
2. 体重更新正在完成工作
3. 学习率是正确的数量级

Andrej Karpathy在斯坦福大学CS231n课程第5讲中指出 - "if you can't overfit on a tiny batch size, things are definitely broken"。

根据您的描述，这意味着您的实施不正确。我首先检查上面列出的这三点中的每一点。例如，通过选择几个不同的图像或btach大小的5个图像而不是一个图像来以某种方式改变您的测试。你也可以修改你的predict function，因为在训练期间你得到零错误（这样验证？），这肯定会有一些差异。