在Vowpal Wabbit中使用vw-hypersearch进行多维超参数搜索

时间:2015-10-20 17:11:51

标签: machine-learning vowpalwabbit hyperparameters

vw-hypersearch是Vowpal Wabbit包装器,旨在优化vw模型中的超参数:正则化率,学习率和衰减,小批量,引导程序大小等。在tutorial对于vw-hypersearch有以下内容例如:

vw-hypersearch  1e-10  5e-4  vw  --l1 %  train.dat

此处%表示要优化的参数,1e-10 5e-4是搜索区间的下限和上限。该库使用golden section search方法来最小化迭代次数。

但是如果我想搜索多个超参数呢?从像this github问题讨论这样的来源,我得到一个提示,可能在vw中没有实现多维数据搜索方法。因此,唯一的出路是编写自己的特定于任务的优化器。我是对的吗?

1 个答案:

答案 0 :(得分:2)

现在可以使用存储库中vw-hyperopt.py的模块/vowpal_wabbit/utl/来完成此操作。

请在此处查看我的拉取请求:https://github.com/JohnLangford/vowpal_wabbit/pull/867

在不久的将来,这将有更好的记录。