Question

我是机器学习的新手并坚持这一点。

当我尝试在线性模型中实现多项式回归时，例如使用多个多项式范围（1,10）并获得不同的MSE。我实际上使用GridsearchCV方法来找到多项式的最佳参数。

from sklearn.model_selection import GridSearchCV

poly_grid = GridSearchCV(PolynomialRegression(), param_grid, cv=10, scoring='neg_mean_squared_error')

我不知道如何获得上述PolynomialRegression()估算值。我搜索的一个解决方案是：

import numpy as np
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import make_pipeline

def PolynomialRegression(degree=2, **kwargs):
    return make_pipeline(PolynomialFeatures(degree), LinearRegression(**kwargs))

param_grid = {'polynomialfeatures__degree': np.arange(10), 'linearregression__fit_intercept': [True, False], 'linearregression__normalize': [True, False]}

poly_grid = GridSearchCV(PolynomialRegression(), param_grid, cv=10, scoring='neg_mean_squared_error')

但它甚至没有产生任何结果。

Answer 1

poly_grid = GridSearchCV...

只会声明并实例化网格搜索对象。您需要使用fit（）方法提供一些数据来进行任何训练或超参数搜索。

这样的事情：

poly_grid.fit(X, y)

X和y是您的训练数据和标签。

请参阅the documentation：

适合（X，y =无，组=无，** fit_params）[来源]
Run fit with all sets of parameters.

然后使用cv_results_和/或best_params_分析结果。

请看下面给出的例子：

回应评论：

@BillyChow你是否打电话给poly_grid.fit()？如果不是，那么显然它不会产生任何结果。

如果是，那么根据你的数据，这需要花费很多时间，因为你已经指定了1到10的度数，参数为10倍cv。因此，随着学位的增加，拟合和交叉验证的时间会相当快地增加。

如果你想看到正常工作，你可以将verbose param添加到gridSearchCV，如下所示：

poly_grid = GridSearchCV(PolynomialRegression(), param_grid, 
                         cv=10, 
                         scoring='neg_mean_squared_error', 
                         verbose=3)

然后拨打poly_grid.fit(X, y)

Answer 2

将熊猫导入为numpy：

import numpy as np
import pandas as pd

创建样本数据集：

df = pd.DataFrame(data={'X': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10], 
                        'Y': [1, 4, 9, 16, 25, 36, 49, 64, 81, 100], 
                        'Label': [1, 3, 10, 17, 23, 45, 50, 55, 90, 114]})
X_train = df[['X', 'Y']]
y_train = df['Label']

在多项式回归中，您要更改数据集功能的程度，也就是说，您实际上并没有更改超参数。因此，我认为使用for循环模拟GridSearchCV比使用GridSearchCV更好。在以下代码中，列表 degrees 是将要测试的学位。

from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
from sklearn.model_selection import cross_val_score 
degrees = [2, 3, 4, 5, 6] # Change degree "hyperparameter" here
normalizes = [True, False] # Change normalize hyperparameter here
best_score = 0
best_degree = 0
for degree in degrees:
    for normalize in normalizes:
        poly_features = PolynomialFeatures(degree = degree)
        X_train_poly = poly_features.fit_transform(X_train)
        polynomial_regressor = LinearRegression(normalize=normalize)
        polynomial_regressor.fit(X_train_poly, y_train)
        scores = cross_val_score(polynomial_regressor, X_train_poly, y_train, cv=5) # Change k-fold cv value here
        if max(scores) > best_score:
            best_score = max(scores)
            best_degree = degree
            best_normalize = normalize

打印最佳分数：

print(best_score)

0.9031682820376132

打印最佳超参数：

print(best_normalize)
print(best_degree)

False
2

使用最佳超参数创建最佳多项式回归：

poly_features = PolynomialFeatures(degree = best_degree)
X_train_poly = poly_features.fit_transform(X_train)
best_polynomial_regressor = LinearRegression(normalize=best_normalize)
polynomial_regressor.fit(X_train_poly, y_train)

GridsearchCV用于多项式回归

2 个答案: