我正在进行图像分类比赛。我有80个不同的班级，有近50000个培训数据。我已经对一些像Vgg或Resnet这样的预训练模型做了一些测试，两者都运行良好但不够好，训练acc几乎为1，验证为0.85（过度拟合）。我认为瓶颈在于数据，而不是模型，所以我想出了图像增强。
现在我很困惑，我应该将转换后的图像保存到磁盘，或者只为每个时期的每一批应用随机转换。我现在正在练习后者，事情并没有那么多改进。
答案 0 :(得分：1)
保存或不保存预处理数据最重要的是时间和一匙重复性，以防您在预处理过程中出现任何随机性。
如果不耗费时间，那么在飞行中进行操作应该是更简单的方法。另一方面，如果您的预处理很重（例如，当仅训练最后几层并因此使用中间层输出时），将此结果转储到磁盘应该更有用，这样您就不需要计算所有每次都是初始层。
换句话说，它不是一个技术问题而且倾销数据不应该干扰你的结果，而只是为了方便。