Question

我正在尝试使用SciKit-Learn执行我的第一个KNN分类器。我一直在关注用户指南和其他在线示例，但有一些我不确定的事情。对于这篇文章，我们使用以下

X =数据 Y =目标

1）在我读过的机器学习页面的大多数介绍中，似乎都说你需要一套训练集，一套验证集和一套测试集。根据我的理解，交叉验证允许您组合训练和验证集来训练模型，然后您应该在测试集上测试它以获得分数。但是，我在论文中看到，在很多情况下，您只需对整个数据集进行交叉验证，然后将CV分数报告为准确性。我理解在一个理想的世界中你会想要测试单独的数据，但如果这是合法的，我想在我的整个数据集上交叉验证并报告这些分数

2）所以开始这个过程

我将KNN分类器定义如下

knn = KNeighborsClassifier(algorithm = 'brute')

我使用

搜索最佳n_neighbors

clf = GridSearchCV(knn, parameters, cv=5)

现在，如果我说

clf.fit(X,Y)

我可以使用

检查最佳参数

clf.best_params_

然后我可以得分

clf.score(X,Y)

但是 - 据我所知，这还没有验证模型，因为它只给出1分？

如果我看到clf.best_params_ = 14现在我可以继续

knn2 = KNeighborsClassifier(n_neighbors = 14, algorithm='brute')
cross_val_score(knn2, X, Y, cv=5)

现在我知道数据已经过交叉验证，但我不知道使用clf.fit查找最佳参数是否合法，然后将cross_val_score与新的knn模型一起使用？

3）我理解＆＃39;适当的＆＃39;这样做的方法如下

拆分为X_train，X_test，Y_train，Y_test，比例训练集 - ＆gt;将变换应用于测试集

knn = KNeighborsClassifier(algorithm = 'brute')
clf = GridSearchCV(knn, parameters, cv=5)
clf.fit(X_train,Y_train)
clf.best_params_

然后我可以得分

clf.score(X_test,Y_test)

在这种情况下，是使用最佳参数计算分数吗？

我希望这是有道理的。我一直试图尽可能多地发现，但我已经到了我认为更容易得到一些直接答案的地步。

在我的脑海中，我试图使用整个数据集获得一些交叉验证的分数，但也使用gridsearch（或类似的东西）来微调参数。

提前致谢

Answer 1

是的，您可以在您的整个数据集上进行简历，但我仍然建议您至少将数据分为2组，一组用于CV，另一组用于测试。
.score函数应该根据documentation返回单个float值，这是best estimator的得分（这是得分最高的）你在给定的X，Y

GridSearchCV

如果您看到最佳参数是14而不是是，您可以在模型中使用它，但如果您给它更多参数，则应设置所有参数。（ - 我之所以这么说是因为你没有给出你的参数列表）是的，再次检查你的简历是合理的，以防万一这个模型是否合适。

希望能让事情更加清晰：）

Answer 2

如果数据集很小，那么您可能没有火车/测试分裂的奢侈。人们通常仅基于交叉验证来估计模型的预测能力。在上面的代码中，当您拟合模型（clf.fit(X, y)）时，GridSearchCV通过将火车集分为内部火车集（80％）和验证集（20％）来执行5倍交叉验证。

您可以通过clf.cv_results_访问模型性能指标，包括验证评分。您想要查看的指标包括mean_test_score（在您的情况下，每个n_neighbor的得分为1）。您可能还希望启用“ mean_train_score”以了解模型是否过度拟合。有关模型设置，请参见下面的示例代码（注意knn是对要素比例敏感的非参数ML模型，因此人们经常使用StandardScaler对要素进行归一化）：

    pipe = Pipeline([
        ('sc', StandardScaler()),     
        ('knn', KNeighborsClassifier(algorithm='brute')) 
    ])
    params = {
        'knn__n_neighbors': [3, 5, 7, 9, 11] # usually odd numbers
    }
    clf = GridSearchCV(estimator=pipe,           
                      param_grid=params, 
                      cv=5,
                      return_train_score=True) # Turn on cv train scores
    clf.fit(X, y)

一个快速提示：样本数量的平方根通常是n_neighbor的不错选择，因此请确保将其包括在GridSearchCV中。希望这会有所帮助。

Scikit-KNN中KNN分类器中的网格搜索参数和交叉验证数据集

2 个答案: