Question

我是python的新手，我一直试图弄清楚gridsearchCV和cross_val_score是如何工作的。

找到赔率结果设置了一种验证实验，但我仍然不明白我做错了什么。

试图简化我使用gridsearchCV是最简单的方法，并尝试验证和理解发生的事情：

这是：

import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler, RobustScaler, QuantileTransformer
from sklearn.feature_selection import SelectKBest, f_regression, RFECV
from sklearn.decomposition import PCA
from sklearn.linear_model import RidgeCV,Ridge, LinearRegression
from sklearn.pipeline import Pipeline, make_pipeline
from sklearn.model_selection import GridSearchCV,KFold,TimeSeriesSplit,PredefinedSplit,cross_val_score
from sklearn.metrics import mean_squared_error,make_scorer,r2_score,mean_absolute_error,mean_squared_error
from math import sqrt

我创建了一个交叉验证对象（用于gridsearchCV和cross_val_score）和一个用于管道和简单线性回归的训练/测试数据集。我检查过两个数据集是否相同：

train_indices = np.full((15,), -1, dtype=int)
test_indices = np.full((6,), 0, dtype=int)
test_fold = np.append(train_indices, test_indices)
kf = PredefinedSplit(test_fold)

for train_index, test_index in kf.split(X):
    print('TRAIN:', train_index, 'TEST:', test_index)
    X_train_kf = X[train_index]
    X_test_kf = X[test_index]

train_data = list(range(0,15))
test_data = list(range(15,21))

X_train, y_train=X[train_data,:],y[train_data]
X_test, y_test=X[test_data,:],y[test_data]

以下是我的工作：

实例化一个简单的线性模型，并将其与手动数据集一起使用

lr=LinearRegression()
lm=lr.fit(X,y)
lmscore_train=lm.score(X_train,y_train)

- ＆GT; R 2 = 0.4686662249071524

lmscore_test=lm.score(X_test,y_test)

- ＆gt; r2 0.6264021467338086

现在我尝试使用管道做同样的事情：

pipe_steps = ([('est', LinearRegression())])
pipe=Pipeline(pipe_steps)
p=pipe.fit(X,y)
pscore_train=p.score(X_train,y_train)

- ＆GT; R 2 = 0.4686662249071524

pscore_test=p.score(X_test,y_test)

- ＆gt; r2 0.6264021467338086

LinearRegression和管道完美匹配

现在我尝试使用预定义的分割kf

使用cross_val_score来做同样的事情

cv_scores = cross_val_score(lm, X, y, cv=kf)

- ＆gt; r2 = -1.234474757883921470e + 01？！？！（这应该是测试分数）

现在让我们试试gridsearchCV

scoring = {'r_squared':'r2'}
grid_parameters = [{}] 
gridsearch=GridSearchCV(p, grid_parameters, verbose=3,cv=kf,scoring=scoring,return_train_score='true',refit='r_squared')
gs=gridsearch.fit(X,y)
results=gs.cv_results_

来自cv_results_我再次得到了 ->mean_test_r_squared->r2->-1.234474757883921292e+01

所以cross_val_score和gridsearch最终相互匹配，但得分完全偏离并且与应有的不同。

请你帮我解决这个难题？

Answer 1

cross_val_score和GridSearchCV将首先拆分数据，仅在列车数据上训练模型，然后对测试数据进行评分。

在这里，您将对完整数据进行培训，然后对测试数据进行评分。因此，您不匹配cross_val_score的结果。

而不是：

lm=lr.fit(X,y)

试试这个：

lm=lr.fit(X_train, y_train)

管道相同：

而不是p=pipe.fit(X,y)，请执行以下操作：

p=pipe.fit(X_train, y_train)

您可以查看我的答案以获得更多说明： -

cross_val_score和gridsearchCV如何工作？

1 个答案: