在转移学习中微调模型

时间:2020-10-01 18:05:10

标签: deep-learning data-science cnn resnet transfer-learning

我正在研究“年龄不变面部检测”的深度学习模型。我从对数据进行预处理开始,这些数据包括通过MTCNN进行面部裁剪,图像对比度校正和锐化。然后,我开始构建模型架构,设计了自定义顺序CNN模型。训练和验证损失接近1.9,但模型花费了大约8个小时的时间。我需要快速的结果,所以我开始尝试转学。我读了一篇说Resnet-18在该任务上表现出色的论文,因此我首先选择了Resnet-18。尝试通过改变学习率来调整它,但是效果不好。准确性没有超过40%。然后我选择了Resnet-50,目前正在研究中。我尝试通过手动更改学习率来进行微调,并尝试使用其他优化程序Adam,SGD。二手学习率下降。我的模型开始过拟合,因此我在训练数据中添加了辍学,图像增强功能,并再次添加了weight_decay,因为它仍然过拟合。目前没有过拟合,但损失没有减少。我正在尝试进行实验,每天阅读许多文章,但感觉好像被卡住了。

1 个答案:

答案 0 :(得分:0)

显然,这是特征工程问世的很好的例子之一。通过应用一些经典的特征工程方法,尽一切可能使图像使用更少的计算能力。使用MTCNN是一种非常好的方法,我会先关注功能工程,这里的link可以为您提供一些AHAA时刻的明智表现。 一切顺利