随机搜索超参数优化的改进

Question

随机搜索是机器学习中超参数优化的一种可能性。我已经应用随机搜索来搜索具有RBF内核的SVM分类器的最佳超参数。除了连续的Cost和gamma参数之外，我还有一个离散参数，还有一些参数的等式约束。

现在，我想进一步开发随机搜索，例如通过自适应随机搜索。这意味着例如调整搜索方向或搜索范围。

有人知道如何做到这一点或者可以参考一些现有的工作吗？其他改进随机搜索的想法也很受欢迎。

Answer 1

为什么要尝试重新发明轮子？超参数优化是一个很好的研究主题，至少有一些最先进的方法，它只是解决了SVM的问题，包括：

• 贝叶斯优化（通常通过高斯过程建模模型质量），参见例如bayesopt http://rmcantin.bitbucket.org/html/
• 包含（特别是）hyperopt http://hyperopt.github.io/hyperopt/
的parzen估算树（有时更适合离散，复杂的超参数空间）

Answer 2

要改进随机搜索程序，您可以参考Hyperband。

Hyperband是UC Berkeley AMP Lab提出的一种方法，旨在提高随机搜索等调优方法的效率。

Answer 3

我想补充说Bayesian optimization是自适应随机搜索的完美示例，所以看起来它正是您想要应用的内容。

贝叶斯优化的思想是使用Gaussian Processes（GP）对目标函数建模，根据当前模型选择最佳下一点，并在看到实际结果后更新模型。因此，有效地，贝叶斯优化就像随机搜索一样开始，逐渐建立一个函数看起来像的图片，并将其焦点转移到最有希望的区域（注意“有希望的”可以通过不同的特定方法来定义 - PI，EI， UCB等）。还有其他技术可以帮助它在探索和利用之间找到适当的平衡，例如portfolio strategy。如果这就是自适应的意思，那么贝叶斯优化就是您的选择。

如果您想在没有外部库的情况下扩展代码，那么完全有可能，因为贝叶斯优化并不难实现。您可以查看我在my research中使用的示例代码，例如here是与GP相关的大量代码。