我一直在自己的googlenet实现中训练cifar 100数据集。首先,我在200个时期内获得了大约71%的top-1准确性,然后通过预热训练,涅斯特罗夫动力和学习率调度将其提高到78.5%。
我还一直在使用一些标准的增强功能,例如4个零填充,32x32随机裁剪,随机水平翻转和rgb通道归一化。
现在我想看看我是否可以使用更多的增强技术将精度进一步提高到79-80甚至超过80%。我的问题是:
1)我可以同时使用Cutout和我前面提到的标准增强功能吗?还是彼此排斥?
2)Autoaugment显然为数据集找到了“最佳”扩充策略。如果我应用自动增宽,是否还需要使用切口和早期的增强件?还是可以将它们全部一起使用?
3)自从我在各种论文中看过几次以来,我一直在训练200个时期(批处理大小为128),并且在我自己的实现中,过去200个时期的训练没有显着改善。应用抠图和/或自动增强功能后,我应该训练比200个更多的纪元吗?我的学习率始于0.1,然后在第60,120,160个时代下降(下降因子为0.2)。我是否应该增加学习率的里程碑并训练多达300个时代?