深度学习 - 在Conv网模型之上进行微调

Question

我正在使用Alexnet架构在图像网模型之上进行微调。我的数据集非常小（每个类7张图像，没有增加）。我必须删除最后一个FC层（"FC8"）权重，但其他完全连接的层呢。对于"FC6"和"FC7"，我应该使用图像网模型中的权重还是从随机初始化？所有三个FC层的学习率为5。

Answer 1

如此少的训练样例我会建议修复所有层（conv，fc6和fc7）的权重，并使用线性SVM训练最后一层。大多数SVM培训包和算法都使用全局凸优化，并且在此设置中可能比SGD产生更好的结果。