是否可以通过ROC比较两组特征的分类能力？

Question

我正在学习SVM和ROC。据我所知，人们通常可以使用ROC（接收器操作特性）曲线来显示SVM（支持向量机）的分类能力。我想知道我是否可以使用相同的概念来比较两个特征子集。

假设我有两个特征子集，子集A和子集B.它们是通过2种不同的特征提取方法A和B从相同的列车数据中选择的。如果我使用这两个特征子集来训练相同的SVM，使用LIBSVM svmtrain（）函数并绘制两者的ROC曲线，我可以将它们的分类能力与它们的AUC值进行比较吗？因此，如果我对子集A的AUC值高于子集B，我能否得出结论：方法A优于方法B？它有意义吗？

非常感谢，

Answer 1

是的，你走在正确的轨道上。但是，您需要记住一些事项。

1. 通常使用具有适当缩放/标准化的两个特征A和B可以比单独的特征提供更好的性能。因此，您可能还会考虑同时使用A和B两种功能的可能性。
2. 使用功能A和B训练SVM时，应单独对其进行优化，即将使用功能A获得的最佳性能与使用功能B获得的最佳性能进行比较。通常功能A和B可能会使用不同的内核提供最佳性能和参数设置。
3. 除了AUC之外还有其他指标，例如F1-score，Mean Average Precision(MAP)可以在评估测试数据后计算，并且根据您考虑的应用程序，它们可能更多适当。