Vowpal Wabbit忽略线性术语,仅保留交互术语

时间:2014-12-17 17:26:52

标签: ignore linear interaction feature-selection vowpalwabbit

您有一个带有两个名称空间的Vowpal Wabbit文件,例如:

1.0 |A snow |B ski:10
0.0 |A snow |B walk:10
1.0 |A clear |B walk:10
0.0 |A clear |B walk:5
1.0 |A clear |B walk:100
1.0 |A clear |B walk:15

使用-q AB,我可以获得交互条款。有没有办法让我只保留交互条款而忽略线性条款?

换句话说,vw sample.vw -q AB --invert_hash sample.model现在的结果就是:

....
A^clear:24861:0.153737
A^clear^B^walk:140680:0.015292
A^snow:117127:0.126087
A^snow^B^ski:21312:0.015803
A^snow^B^walk:28234:-0.010592
B^ski:107733:0.015803
B^walk:114655:0.007655
Constant:116060:0.234153

我希望它是这样的:

....
A^clear^B^walk:140680:0.015292
A^snow^B^ski:21312:0.015803
A^snow^B^walk:28234:-0.010592
Constant:116060:0.234153

--keep和--ignore选项不会产生所需的效果,因为它们似乎是在生成二次项之前考虑的。是否可以使用vw执行此操作,还是需要创建所有组合的自定义预处理步骤?

1 个答案:

答案 0 :(得分:3)

John Langford(大众的主要作者)写道: 目前没有一种好方法可以做到这一点。最简单的方法 将--ignore应用于foreach_feature<>模板 源代码。

您可以使用技巧将每个原始示例转换为四个新示例:

1  |first:1  foo bar gah |second:1  loo too rah
-1 |first:1  foo bar gah |second:-1 loo too rah
1  |first:-1 foo bar gah |second:-1 loo too rah
-1 |first:-1 foo bar gah |second:1  loo too rah

这使得二次特征都与二者特征完全相关 标签,但线性特征与标签无关。 因此,轻微的l1正则化应该消除线性特征。

我怀疑这会提高性能足以照顾(因此 设计),但如果你发现它有用,请告诉我们。

查看原帖:

https://groups.yahoo.com/neo/groups/vowpal_wabbit/conversations/topics/2964 https://groups.yahoo.com/neo/groups/vowpal_wabbit/conversations/topics/4346