这些是关于如何计算＆amp;减少机器学习中的过度拟合。我认为许多新的机器学习会有相同的问题，所以我试着清楚我的例子和问题，希望这里的答案可以帮助其他人。
我有一个非常小的文本样本，我正在尝试预测与它们相关的值。我已经使用sklearn来计算tf-idf，并将它们插入到回归模型中进行预测。这给了我26个样本，6323个功能 - 不是很多..我知道：
>> count_vectorizer = CountVectorizer(min_n=1, max_n=1)
>> term_freq = count_vectorizer.fit_transform(texts)
>> transformer = TfidfTransformer()
>> X = transformer.fit_transform(term_freq)
>> print X.shape
(26, 6323)
将6323个特征（X）和相关分数（y）的26个样本插入LinearRegression模型，可以得出很好的预测结果。这些是使用来自cross_validation.LeaveOneOut(X.shape[0], indices=True)的留一法交叉验证获得的：
using ngrams (n=1):
human machine points-off %error
8.67 8.27 0.40 1.98
8.00 7.33 0.67 3.34
... ... ... ...
5.00 6.61 1.61 8.06
9.00 7.50 1.50 7.50
mean: 7.59 7.64 1.29 6.47
std : 1.94 0.56 1.38 6.91
非常好！使用ngrams（n = 300）而不是unigrams（n = 1），会出现类似的结果，这显然是不对的。任何文本中都不会出现300个单词，因此预测应该失败，但不会：
using ngrams (n=300):
human machine points-off %error
8.67 7.55 1.12 5.60
8.00 7.57 0.43 2.13
... ... ... ...
mean: 7.59 7.59 1.52 7.59
std : 1.94 0.08 1.32 6.61
问题1： 这可能意味着预测模型过度拟合数据。我只知道这个，因为我为ngrams（n = 300）选择了一个极值，我知道它不会产生好的结果。但如果我没有这方面的知识，你通常会怎么说模型过度拟合？换句话说，如果使用合理的度量（n = 1），你怎么知道好的预测是过度拟合的结果而不是模型运作良好？
问题2： 防止过度拟合（在这种情况下）确保预测结果良好的最佳方法是什么？
问题3： 如果使用LeaveOneOut交叉验证，模型如何可能过度拟合并获得良好的结果？过度拟合意味着预测的准确性将受到影响 - 那么为什么它不会因为遗漏的文本而受到影响呢？我能想到的唯一原因是：在一个主要为0的tf-idf稀疏矩阵中，文本之间存在很强的重叠，因为很多项都是0 - 然后回归认为文本高度相关。
即使您不了解所有问题，也请回答任何问题。谢谢！
答案 0 :(得分：34)
你通常会怎么说模型过度拟合？
One useful rule of thumb当你的模型在自己的训练集上的表现比在其保持的验证集或交叉验证设置中好得多时，你可能会过度拟合。但这并不是全部。
我链接的博客条目描述了测试过度匹配的过程：绘图训练集和验证集错误作为训练集大小的函数。如果它们在图的右端显示出稳定的间隙，那么你可能会过度拟合。
防止过度拟合（在这种情况下）确保预测结果良好的最佳方法是什么？
使用保留的测试集。完成模型选择（超参数调整）后，只对此集进行评估;不要训练它，不要在（交叉）验证中使用它。您在测试集上获得的分数是模型的最终评估。这应该表明您是否意外地过度使用了验证集。
[机器学习会议有时候会像竞赛一样设置，在之后他们将最终模型交给组织者之前，不会给研究人员。同时，他们可以随意使用训练集，例如通过使用交叉验证测试模型。 Kaggle做了类似的事情。]
如果使用
LeaveOneOut交叉验证，模型如何可能过度拟合并获得良好结果？
因为您可以在此交叉验证设置中根据需要调整模型，直到它在CV中几乎完美地执行。
作为一个极端的例子，假设您已经实现了一个基本上是随机数生成器的估算器。你可以继续尝试随机种子，直到你遇到一个在交叉验证中产生非常低误差的“模型”，但是你没有找到正确的模型。这意味着你已经过度适应了交叉验证。