用于权重初始化的预训练深度学习模型

Question

在预先训练深度学习模型（比如说深度卷积神经网络）以实现良好的权重初始化时，我是否使用整个训练集而不进行验证（这样可以避免信息泄漏）还是仅使用训练集的子集？

Answer 1

我认为，如果我们将数据集分为训练，验证和测试数据，它将更加有用。保留一个全新的测试数据并仅使用验证数据来验证模型是一个不错的选择。整个训练数据都应该用于训练。

Answer 2

如果要在对数据集进行训练后对网络进行微调，则可以使用相同的数据集（确保训练/测试中的数据以及验证集不会切换）。您还可以作为“预训练”来下载已经在与您相似的数据集/问题上进行训练的模型，然后在您的数据集上对其进行训练。这被称为转移学习，可以很好地解决类似的问题，但是，当然，这两个问题之间的差距越大，您需要培训的越多。

结论：只要验证集对网络隐藏即可，您可以使用任何数据集。