在交叉验证方面需要关于Vowpal Wabbit的一些指示

Question

我的目标是在他们的参数空间中对各种VW模型进行网格搜索（尝试不同的损失函数和正则化等）。由于模型可以使用多次传递，我想使用交叉验证。我想知道我是否应该实现自己的交叉验证代码（可能作为bash脚本）或者我是否重新发明轮子。关于这是否已在之前完成的任何指示或最佳方式继续进行将是有用的。我正在考虑在bash脚本中实现交叉验证，并使用GNU parallel来并行化Grid Search

Answer 1

你应该尝试vw-hypersearch perl脚本（https://github.com/JohnLangford/vowpal_wabbit/blob/HEAD/utl/vw-hypersearch），它也可以在大众的utl目录中找到。它可以帮助您调整VW参数，但是作为交叉验证，您必须实现自己的代码，为您打算验证的数据折叠提供算法。

Answer 2

请允许我以2折回答这个问题，

• 交叉验证：vw中没有相同的标志。原因 即使是交叉验证，人们也会考验未来 基于某种度量分割和评估模型的学习 源自混淆矩阵。

• 超参数搜索：vw-hypersearch使用黄金定量搜索进行搜索 当提供范围时，获得给定参数的最佳值。金色 比率搜索适用于以下功能 单调增加或减少。在搜索时 一堆参数功能不再是单调的 增加或减少功能。这可以像你一样使用 曾指出

  - 网格搜索：非常耗费CPU和耗时。（我们总是打架 随着时间的推移）

  - 随机搜索：非常有效参考： [http://dl.acm.org/citation.cfm?id=2188395][1]