使用Vowpal Wabbit时计算AUC

Question

无论如何在Vowpal Wabbit中计算AUC？

我使用Vowpal Wabbit的原因之一是数据文件的大小。 我可以使用Vowpal Wabbit的输出计算Vowpal Wabbit环境之外的AUC，但如果数据文件很大，这可能会有问题。

Answer 1

目前，大众无法报告AUC。更糟糕的是，它无法直接针对AUC进行优化。优化AUC与在线学习不兼容，但有一些approximations of AUC suitable for optimizing。

关于您的问题，您不需要将具有原始预测的中间文件存储在磁盘上。您可以将其直接传递给外部评估工具（在这种情况下为perf）：

vw -d test.data -t -i model.vw -r /dev/stdout | perf -roc -files gold /dev/stdin

编辑： John Langford confirmed通常可以通过改变假阳性和假阴性损失的比率来优化AUC。在大众，这意味着为正面和负面示例设置不同的importance weight。您需要使用保持集（或交叉验证或一次性学习的渐进式验证丢失）来调整最佳权重。