Question

我正在使用H2O Python API进行网格搜索来构建随机森林模型。我在训练和验证中分割数据并使用 k - 交叉验证在网格搜索中选择最佳模型。

我能够在训练集上检索具有最佳MSE的模型，但我想检索验证集上具有最高AUC的模型。

我可以用Python编写所有代码，但我想知道是否有一个H2O方法来解决这个问题。关于我如何做到这一点的任何建议？

Answer 1

如果g是你的网格对象，那么：

g.sort_by('auc', False);

将为您提供AUC订购的型号。第二个参数False意味着最高AUC将是第一个。它返回一个H2OTwoDimTable对象，因此您可以选择第一个模型（AUC的最佳模型）。

我认为它应该根据验证集上的分数进行排序，而不是训练集。但是，您可以使用以下命令明确指定它：

g.sort_by('auc(valid=True)', False);