咖啡的培训和测试阶段之间的差异

Question

这似乎是一个愚蠢的问题，但我试图了解caffe中的测试阶段对于良好结果的重要程度。当然，训练阶段很重要，但测试阶段只是为了测试在没有经过训练的集合上定期获得多少损失？如果是这种情况，我的测试集的大小真的重要吗？测试甚至根本不重要吗？我问，因为我目前有一些严重的过度装修问题。如果我有一个大型数据集（> 50 000张图像），我该如何在测试和火车之间进行分割？

Answer 1

Caffe在进行训练时从不使用测试集的结果，并修改一些参数来修复过度拟合等问题。

验证集（培训期间的测试集）的使用是让我们通过查看准确度或损失值，绘制它们或查看输出来可视化模型是否过度拟合数据。

例如，如果训练集的丢失在每次迭代时都会减少并且测试集的丢失不断增加，则这是模型过度拟合训练集的一个可靠案例。为了得到这样的结论，为测试集选择的图像不应该与训练集的图像相同。它是保持1:10比率的理想测试列车图像计数。如果测试集使用了列车集的子集，则测试集的丢失会减少，我们可能无法检测到模型的过度拟合行为。