我在R中使用h2o包（v 3.6.0），我已经构建了一个网格搜索模型。现在，我正在尝试访问最小化验证集上的MSE的模型。在python的sklearn中，使用RandomizedSearchCV：
## Pseudo code:
grid = RandomizedSearchCV(model, params, n_iter = 5)
grid.fit(X)
best = grid.best_estimator_
不幸的是，这在h2o中并不直截了当。以下是您可以重新创建的示例：
library(h2o)
## assume you got h2o initialized...
X <- as.h2o(iris[1:100,]) # Note: only using top two classes for example
grid <- h2o.grid(
algorithm = 'gbm',
x = names(X[,1:4]),
y = 'Species',
training_frame = X,
hyper_params = list(
distribution = 'bernoulli',
ntrees = c(25,50)
)
)
查看grid会打印大量信息，包括此部分：
> grid
ntrees distribution status_ok model_ids
50 bernoulli OK Grid_GBM_file1742e107fe5ba_csv_10.hex_11_model_R_1456492736353_16_model_1
25 bernoulli OK Grid_GBM_file1742e107fe5ba_csv_10.hex_11_model_R_1456492736353_16_model_0
通过一些挖掘，您可以访问每个单独的模型并查看可以想象的每个指标：
> h2o.getModel(grid@model_ids[[1]])
H2OBinomialModel: gbm
Model ID: Grid_GBM_file1742e107fe5ba_csv_10.hex_11_model_R_1456492736353_18_model_1
Model Summary:
number_of_trees model_size_in_bytes min_depth max_depth mean_depth min_leaves max_leaves mean_leaves
1 50 4387 1 1 1.00000 2 2 2.00000
H2OBinomialMetrics: gbm
** Reported on training data. **
MSE: 1.056927e-05
R^2: 0.9999577
LogLoss: 0.003256338
AUC: 1
Gini: 1
Confusion Matrix for F1-optimal threshold:
setosa versicolor Error Rate
setosa 50 0 0.000000 =0/50
versicolor 0 50 0.000000 =0/50
Totals 50 50 0.000000 =0/100
Maximum Metrics: Maximum metrics at their respective thresholds
metric threshold value idx
1 max f1 0.996749 1.000000 0
2 max f2 0.996749 1.000000 0
3 max f0point5 0.996749 1.000000 0
4 max accuracy 0.996749 1.000000 0
5 max precision 0.996749 1.000000 0
6 max absolute_MCC 0.996749 1.000000 0
7 max min_per_class_accuracy 0.996749 1.000000 0
通过挖掘的 很多 ，您最终可以实现这一目标：
> h2o.getModel(grid@model_ids[[1]])@model$training_metrics@metrics$MSE
[1] 1.056927e-05
对于模型选择应该是最高级别的指标，这看起来像很多kludgey工作（是的，我现在插入我的意见......）。在我的情况下，我有一个包含数百个模型的网格，而我目前的hacky解决方案似乎并不是“R-esque”：
model_select_ <- function(grid) {
model_ids <- grid@model_ids
min = Inf
best_model = NULL
for(model_id in model_ids) {
model <- h2o.getModel(model_id)
mse <- model@model$training_metrics@metrics$MSE
if(mse < min) {
min <- mse
best_model <- model
}
}
best_model
}
这对于机器学习实践的核心功能非常实用，而且我觉得奇怪的是h2o没有“更清洁”的方法来提取最优模型，或者至少是模型指标。
我错过了什么吗？选择最佳模型是否没有“开箱即用”的方法？
答案 0 :(得分：4)
是的，有一种简单的方法可以提取H2O网格搜索的“顶级”模型。还有一些实用程序功能可以提取您尝试访问的所有模型指标（例如h2o.mse）。有关如何执行这些操作的示例，请参见h2o-r/demos GitHub回购的h2o-py/demos和h2o-3子文件夹。
由于您使用的是R，因此这里有relevant code example，其中包含网格搜索，其中包含已排序的结果。您还可以在R h2o.getGrid函数的文档中找到如何访问此信息。
打印所有模型的auc，按验证AUC排序：
auc_table <- h2o.getGrid(grid_id = "eeg_demo_gbm_grid", sort_by = "auc", decreasing = TRUE)
print(auc_table)
以下是输出示例：
H2O Grid Details
================
Grid ID: eeg_demo_gbm_grid
Used hyper parameters:
- ntrees
- max_depth
- learn_rate
Number of models: 18
Number of failed models: 0
Hyper-Parameter Search Summary: ordered by decreasing auc
ntrees max_depth learn_rate model_ids auc
1 100 5 0.2 eeg_demo_gbm_grid_model_17 0.967771493797284
2 50 5 0.2 eeg_demo_gbm_grid_model_16 0.949609591795923
3 100 5 0.1 eeg_demo_gbm_grid_model_8 0.94941792664595
4 50 5 0.1 eeg_demo_gbm_grid_model_7 0.922075196552274
5 100 3 0.2 eeg_demo_gbm_grid_model_14 0.913785959685157
6 50 3 0.2 eeg_demo_gbm_grid_model_13 0.887706691652792
7 100 3 0.1 eeg_demo_gbm_grid_model_5 0.884064379717198
8 5 5 0.2 eeg_demo_gbm_grid_model_15 0.851187402678818
9 50 3 0.1 eeg_demo_gbm_grid_model_4 0.848921799270639
10 5 5 0.1 eeg_demo_gbm_grid_model_6 0.825662907513139
11 100 2 0.2 eeg_demo_gbm_grid_model_11 0.812030639460551
12 50 2 0.2 eeg_demo_gbm_grid_model_10 0.785379521713437
13 100 2 0.1 eeg_demo_gbm_grid_model_2 0.78299280750123
14 5 3 0.2 eeg_demo_gbm_grid_model_12 0.774673686150002
15 50 2 0.1 eeg_demo_gbm_grid_model_1 0.754834657912535
16 5 3 0.1 eeg_demo_gbm_grid_model_3 0.749285131682721
17 5 2 0.2 eeg_demo_gbm_grid_model_9 0.692702793188135
18 5 2 0.1 eeg_demo_gbm_grid_model_0 0.676144542037133
表格中的第一行包含具有最佳AUC的模型，因此下面我们可以获取该模型并提取验证AUC：
best_model <- h2o.getModel(auc_table@model_ids[[1]])
h2o.auc(best_model, valid = TRUE)
为了使h2o.getGrid函数能够按验证集上的指标排序，您需要实际传递h2o.grid函数validation_frame。在上面的示例中，您没有传递validation_frame，因此您无法在验证集上的网格中评估模型。
答案 1 :(得分：3)
这似乎只适用于最近版本的h2o，你得到3.8.2.3 一个Java异常，说＆＃34; auc＆＃34;是一个无效的指标。 以下失败：
library(h2o)
library(jsonlite)
h2o.init()
iris.hex <- as.h2o(iris)
h2o.grid("gbm", grid_id = "gbm_grid_id", x = c(1:4), y = 5,
training_frame = iris.hex, hyper_params = list(ntrees = c(1,2,3)))
grid <- h2o.getGrid("gbm_grid_id", sort_by = "auc", decreasing = T)
然而，替换＆＃39; auc＆＃39;与＆＃39; logloss＆＃39;并且减少= F，它很好。
答案 2 :(得分：-2)
不幸的是，H2O网格功能在你同时传递它们时会使用training_frame而不是validation_frame。因此，获胜的模型非常过度装配且无用。编辑：那么，在这里进行修正，为了学习曲线分析和偏差与方差分析的目的，将训练偏差设置得非常低是非常有用的。但要明确的是，我还需要能够再次运行并获得验证数据集，以用作最终模型拟合和选择的搜索标准。
例如，这里是来自GBM上的网格函数的获胜模型，其中传递了validation_frame，并且AUC是搜索度量。您可以看到validation_auc从0.5开始，实际上在获胜模型的最终得分历史上恶化到0.44：
Scoring History:
timestamp duration number_of_trees training_rmse
1 2017-02-06 10:09:19 6 min 13.153 sec 0 0.70436
2 2017-02-06 10:09:23 6 min 16.863 sec 100 0.70392
3 2017-02-06 10:09:27 6 min 20.950 sec 200 0.70343
4 2017-02-06 10:09:31 6 min 24.806 sec 300 0.70289
5 2017-02-06 10:09:35 6 min 29.244 sec 400 0.70232
6 2017-02-06 10:09:39 6 min 33.069 sec 500 0.70171
7 2017-02-06 10:09:43 6 min 37.243 sec 600 0.70107
training_logloss training_auc training_lift training_classification_error
1 2.77317 0.50000 1.00000 0.49997
2 2.69896 0.99980 99.42857 0.00026
3 2.62768 0.99980 99.42857 0.00020
4 2.55902 0.99982 99.42857 0.00020
5 2.49675 0.99993 99.42857 0.00020
6 2.43712 0.99994 99.42857 0.00020
7 2.38071 0.99994 99.42857 0.00013
validation_rmse validation_logloss validation_auc validation_lift
1 0.06921 0.03058 0.50000 1.00000
2 0.06921 0.03068 0.45944 9.03557
3 0.06922 0.03085 0.46685 9.03557
4 0.06922 0.03107 0.46817 9.03557
5 0.06923 0.03133 0.45656 9.03557
6 0.06924 0.03163 0.44947 9.03557
7 0.06924 0.03192 0.44400 9.03557
validation_classification_error
1 0.99519
2 0.00437
3 0.00656
4 0.00656
5 0.00700
6 0.00962
7 0.00962