更新：

Question

我正在尝试设置GridSearchCV的实例，以确定哪组超参数将产生最低的平均绝对误差。 This scikit documentation表示可以在创建GridSearchCV（如下）时将评分指标传递到网格中。

param_grid = {
    'hidden_layer_sizes' : [(20,),(21,),(22,),(23,),(24,),(25,),(26,),(27,),(28,),(29,),(30,),(31,),(32,),(33,),(34,),(35,),(36,),(37,),(38,),(39,),(40,)],
    'activation' : ['relu'],
    'random_state' : [0]
    }
gs = GridSearchCV(model, param_grid, scoring='neg_mean_absolute_error')
gs.fit(X_train, y_train)
print(gs.scorer_)

[1] make_scorer(mean_absolute_error, greater_is_better=False)

但是，网格搜索未根据平均绝对误差选择性能最佳的模型

model = gs.best_estimator_.fit(X_train, y_train)
print(metrics.mean_squared_error(y_test, model.predict(X_test)))
print(gs.best_params_)

[2] 125.0
[3] Best parameters found by grid search are: {'hidden_layer_sizes': (28,), 'learning_rate': 'constant', 'learning_rate_init': 0.01, 'random_state': 0, 'solver': 'lbfgs'}

运行上述代码并确定所谓的“最佳参数”后，我删除了gs.best_params_中找到的值之一，并发现通过再次运行程序，均方误差有时会减小。

param_grid = {
'hidden_layer_sizes' : [(20,),(21,),(22,),(23,),(24,),(25,),(26,),(31,),(32,),(33,),(34,),(35,),(36,),(37,),(38,),(39,),(40,)],
'activation' : ['relu'],
'random_state' : [0]
}

[4] 122.0
[5] Best parameters found by grid search are: {'hidden_layer_sizes': (23,), 'learning_rate': 'constant', 'learning_rate_init': 0.01, 'random_state': 0, 'solver': 'lbfgs'}

为澄清起见，我更改了输入到网格搜索中的集合，以使其不包含选择隐藏层大小为28的选项，进行更改后，我再次运行代码，这次选择了该代码隐藏层的大小为23，并且平均绝对误差减小了（即使从一开始就可以使用23的大小），如果它正在评估平均绝对误差，为什么不从一开始就选择此选项呢？ >

Answer 1

基本的网格搜索和模型拟合取决于用于不同目的的随机数生成器。在scikit-learn中，这由参数random_state控制。查看我的其他答案以了解有关信息：

在您的情况下，我可以想到这些随机数生成会影响训练的事情：

1）GridSearchCV将默认使用3折的KFold进行回归任务，这可能会在不同的运行中以不同的方式拆分数据。有可能发生在两个网格搜索过程中发生的分裂是不同的，因此分数也不同。

2）您正在使用单独的测试数据来计算GridSearchCV无法访问的mse。因此，它将找到适合于所提供数据的参数，该参数对于单独的数据集可能是完全无效的，也可能不是完全有效。

更新：

我现在看到您已经在参数网格中使用了random_state作为模型，因此第3点现在不再适用。

3）您尚未显示正在使用哪个model。但是，如果训练过程中的模型使用的是数据子样本（例如选择较少数量的要素，或者较少数量的行进行迭代，或者针对不同的内部估计量），那么您也需要修正该问题以获得相同的分数。您需要先修复该问题。

GridSearchCV在平均绝对误差上的得分

1 个答案:

更新：

推荐示例