在SVM和MLP分类器之间进行选择

Question

我必须训练一个分类器，能够分辨出6个可能的输入样本类别。我还有一个成本矩阵来评估分类器的性能，无论是否考虑拒绝选项。

到目前为止，使用交叉验证（ leave-one-out ），我将数据集拆分为训练集和验证集，因此我可以测量分类器＆ ＃39;表现。我已经根据准确度：

达到了这些结果

• MultiLayer Perceptron ：57,69％没有拒绝选项，48,26％使用拒绝选项
• 支持向量机：61,99％没有拒绝选项，35,09％有拒绝选项

虽然费用（这些是使用最低风险分类规则获得的估算值）：

• MLP ：2,0028没有拒绝选项，1,4965有拒绝选项
• SVM ：1,6089没有拒绝选项，0,8502有拒绝选项

所以我已经达到了一个我不知道哪个分类器更好的地步。

当然，SVM的成本很低，但是当你考虑拒绝选项时，你突然发现它的准确性非常差（比MLP低13％）。

就准确性而言，我认为MLP比SVM 更好因为它的平均准确度（考虑是否有拒绝选项） ）：52,97％（MLP）对48.54％（SVM）。

但就平均成本而言，SVM 更好：1,74965（MLP）vs 1,22955（SVM）。

是否有任何指导方针可以促成此决定？

编辑（按要求提供更多信息）：数据集包含约700个样本，其中包含~1250个特征。但是，通过功能选择，我将功能减少到81。

测试集（我不具备）将是〜700个样本。

Answer 1

我不知道您正在使用的MLP实现到底是什么。一般来说，对于非常大的输入，SVM肯定会有更好的性能，而MLP可能没用。取决于实施，神经元的数量等MLP也可能过度训练导致更差的准确性。

所以你必须先确定输入的典型大小。