Vowpal Wabbit的渐变提升

Question

有没有办法在使用Vowpal Wabbit进行回归时使用渐变增强？我使用Vowpal Wabbit附带的各种技巧很有用。我想尝试渐变增强，但我找不到在大众实现渐变增强的方法。

Answer 1

gradient boosting的想法是整体模型是由黑盒弱模型构建的。你肯定可以使用大众作为黑匣子，但请注意大众不提供决策树，这是黑盒弱势模型中最受欢迎的选择。提升通常会降低偏差（并增加方差），因此您应确保VW模型的方差较小（无过度拟合）。请参阅bias-variance tradeoff。

大众汽车的增压和装袋有一些减少：

• --autolink N添加了多项式N的链接函数，可以认为这是一种简单的增强方式。
• --log_multi K是用于K级分类的在线提升算法。见the paper。您甚至可以将它用于二进制分类（K = 2），但不能用于回归。
• --bootstrap M通过在线重要性重新采样的M-way引导程序。使用--bs_type=vote进行分类，使用--bs_type=mean进行回归。请注意，这是bagging，而不是提升。
• --boosting N（2015-06-17添加）与N弱学习者在线推广，请参阅a theoretic paper