vw-hypersearch是Vowpal Wabbit包装器,旨在优化vw模型中的超参数:正则化率,学习率和衰减,小批量,引导程序大小等。在tutorial对于vw-hypersearch有以下内容例如:
vw-hypersearch 1e-10 5e-4 vw --l1 % train.dat
此处%
表示要优化的参数,1e-10 5e-4
是搜索区间的下限和上限。该库使用golden section search方法来最小化迭代次数。
但是如果我想搜索多个超参数呢?从像this github问题讨论这样的来源,我得到一个提示,可能在vw中没有实现多维数据搜索方法。因此,唯一的出路是编写自己的特定于任务的优化器。我是对的吗?
答案 0 :(得分:2)
现在可以使用存储库中vw-hyperopt.py
的模块/vowpal_wabbit/utl/
来完成此操作。
请在此处查看我的拉取请求:https://github.com/JohnLangford/vowpal_wabbit/pull/867
在不久的将来,这将有更好的记录。