随机搜索与网格搜索超参数估计的比较

时间:2018-05-30 06:59:54

标签: python python-3.x machine-learning scikit-learn classification

我想做超参数调整,为此,我想使用RandomizedSearchCV或GridSearchCV。我试图为随机森林分类器运行这两种方法。

我发现网格搜索将搜索我的参数网格的所有可能组合,但随机搜索仅搜索10种可能的组合。假设它采用任意10个随机参数集,它可能会给我错误的最佳参数。另一方面,如果我使用GridSearch方法,那么它给了我大的运行时间。现在,我对这两种方法感到困惑。我应该使用哪个?或者我可以做一些在可接受的运行时间内给出最佳参数的更改吗?

1 个答案:

答案 0 :(得分:0)

超参数调整方案取决于您的应用程序。至于网格搜索和随机搜索:

  • 当您拥有少量超参数时,并且每个超参数对验证分数的影响程度大致相同时,网格搜索效果很好

  • 当影响程度不平衡时,随机搜索是一个更好的选择,随着参数数量的增加更可能发生

来源:关于hparam调整的deeplearning.ai课程here

其他调整方案包括

  • 粗到细粗:带网格的样本首先粗略地搜索超参数空间,并集中验证得分更高的样本
  • 使用高斯过程进行贝叶斯优化:here