所以我尝试在训练集上进行4倍交叉验证。我将训练数据分为四个季度。我使用四分之三进行培训，四分之一进行验证。我重复这三次，直到所有季度都有机会成为验证集，至少一次。
训练结束后，我有四个caffemodel。我在我的验证集上测试模型。在每种情况下，我的准确度都不同。我该怎么办？我应该选择具有最高精度的模型吗？
答案 0 :(得分：0)
也许是迟到的回复，但无论如何...... 简短的回答是，如果四个模型的性能相似且足够好，那么您可以在所有可用数据上重新训练模型，因为您不想浪费任何数据。
当您没有大量数据时，n倍交叉验证是一种实用技术，可以获得您正在尝试训练的模型的学习和泛化属性的一些见解。您可以在网络上的任何地方找到详细信息，但我建议使用开源书籍Introduction to Statistical Learning，第5章。
一般规则说，在训练了n个模型后，您可以对预测误差（MSE，准确度等）进行平均，以全面了解该特定模型的性能（在您的情况下可能是网络架构和学习）策略）在该数据集上。 主要思想是评估在训练分裂检查中学习的模型，如果它们在验证集上具有可接受的性能。如果他们不这样做，那么你的模型可能会过度拟合训练数据。如果训练和验证分裂的错误都很高，则应重新考虑模型，因为它们没有预测能力。
在任何情况下，我都会考虑advice of Yoshua Bengio谁说，对于深度学习的问题，你通常有足够的数据来简单地进行训练/测试分裂。在这种情况下，this answer on Stackoverflow 可能对您有用。