Question

我想在sklearn中构建一个Pipeline并使用GridSearchCV测试不同的模型。

只是一个例子（请不要注意选择的特定型号）：

reg = LogisticRegression()

proj1 = PCA(n_components=2)
proj2 = MDS()
proj3 = TSNE()

pipe = [('proj', proj1), ('reg' , reg)]

pipe = Pipeline(pipe)

param_grid = {
    'reg__c': [0.01, 0.1, 1],
}

clf = GridSearchCV(pipe, param_grid = param_grid)

如果我想尝试不同的模型来减少维数，我需要编写不同的管道并手动比较它们。有没有简单的方法呢？

我提出的一个解决方案是定义我自己的派生自基本估算器的类：

class Projection(BaseEstimator):
    def __init__(self, est_name):
        if est_name == "MDS":
            self.model = MDS()
        ...
    ...
    def fit_transform(self, X):
        return self.model.fit_transform(X)

我认为它会起作用，我只是创建一个Projection对象并将其传递给Pipeline，使用估算器的名称作为参数。

但对我而言，这种方式有点乱，不可扩展：每次我想比较不同的模型时，我都会定义新类。另外，为了继续这个解决方案，可以实现一个执行相同工作但具有任意模型集的类。这对我来说似乎过于复杂。

比较不同模型的最自然和pythonic方式是什么？

Answer 1

让我们假设您想要使用PCA和TruncatedSVD作为减少角色的步骤。

pca = decomposition.PCA()
svd = decomposition.TruncatedSVD()
svm = SVC()
n_components = [20, 40, 64]

你可以这样做：

pipe = Pipeline(steps=[('reduction', pca), ('svm', svm)])

# Change params_grid -> Instead of dict, make it a list of dict
# In the first element, pass parameters related to pca, and in second related to svd

params_grid = [{
'svm__C': [1, 10, 100, 1000],
'svm__kernel': ['linear', 'rbf'],
'svm__gamma': [0.001, 0.0001],
'reduction':pca,
'reduction__n_components': n_components,
},
{
'svm__C': [1, 10, 100, 1000],
'svm__kernel': ['linear', 'rbf'],
'svm__gamma': [0.001, 0.0001],
'reduction':svd,
'reduction__n_components': n_components,
'reduction__algorithm':['randomized']
}]

现在只需将管道对象传递给gridsearchCV

grd = GridSearchCV(pipe, param_grid = params_grid)

调用grd.fit()将使用one中的所有值一次在params_grid列表的两个元素上搜索参数。

请查看我的其他答案以获取更多详情："Parallel" pipeline to get best model using gridsearch

Answer 2

一种不需要在参数网格中为估算器名称加上前缀的替代解决方案如下：

from sklearn.ensemble import RandomForestClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.linear_model import LogisticRegression

# the models that you want to compare
models = {
    'RandomForestClassifier': RandomForestClassifier(),
    'KNeighboursClassifier': KNeighborsClassifier(),
    'LogisticRegression': LogisticRegression()
}

# the optimisation parameters for each of the above models
params = {
    'RandomForestClassifier':{ 
            "n_estimators"      : [100, 200, 500, 1000],
            "max_features"      : ["auto", "sqrt", "log2"],
            "bootstrap": [True],
            "criterion": ['gini', 'entropy'],
            "oob_score": [True, False]
            },
    'KNeighboursClassifier': {
        'n_neighbors': np.arange(3, 15),
        'weights': ['uniform', 'distance'],
        'algorithm': ['ball_tree', 'kd_tree', 'brute']
        },
    'LogisticRegression': {
        'solver': ['newton-cg', 'sag', 'lbfgs'],
        'multi_class': ['ovr', 'multinomial']
        }  
}

您可以定义：

from sklearn.model_selection import GridSearchCV

def fit(train_features, train_actuals):
        """
        fits the list of models to the training data, thereby obtaining in each 
        case an evaluation score after GridSearchCV cross-validation
        """
        for name in models.keys():
            est = models[name]
            est_params = params[name]
            gscv = GridSearchCV(estimator=est, param_grid=est_params, cv=5)
            gscv.fit(train_actuals, train_features)
            print("best parameters are: {}".format(gscv.best_estimator_))

基本上遍历不同的模型，每个模型通过字典引用其自己的优化参数集。当然，不要忘记将模型和参数字典传递给fit函数，以防您没有将它们作为全局变量使用的情况。请查看at this GitHub project，以获取更完整的概述。

在Pipeline for GridSearchCV中替换不同的模型

2 个答案: