调整vlfeat SVM

Question

我有6个样本的1个暗淡数据作为示例，我正在尝试训练vlfeat的SVM：

data:
    [188.00000000;
      168.00000000;
      191.00000000;
      150.00000000;
      154.00000000;
      124.00000000]

前3个样本为阳性，最后3个样本为阴性。

我得到了权重（包括偏见）：

w: -0.6220197226 -0.0002974511

问题是所有样本都被预测为负数，但它们显然是线性可分的。

对于学习我使用求解器类型VlSvmSolverSgd和lambda 0.01。

如果重要的话，我正在使用C API。

最低工作示例：

void vlfeat_svm_test()
{
    vl_size const numData = 6 ;
    vl_size const dimension = 1 ;
    //double x[dimension * numData] = {188.0,168.0,191.0,150.0, 154.0, 124.0};
    double x[dimension * numData] = {188.0/255,168.0/255,191.0/255,150.0/255, 154.0/255, 124.0/255};
    double y[numData] = {1, 1, 1, -1, -1, -1} ;

    double lambda = 0.01;

    VlSvm *svm = vl_svm_new(VlSvmSolverSgd, x, dimension, numData, y, lambda);
    vl_svm_train(svm);

    double const * w= vl_svm_get_model(svm);
    double bias= vl_svm_get_bias(svm);
    for(int k=0;k<numData;++k)
    {
        double res= 0.0;
        for(int i=0;i<dimension;++i)
        {
            res+= x[k*dimension+i]*w[i];
        }
        int pred= ((res+bias)>0)?1:-1;

        cout<< pred <<endl;
    }

    cout << "w: ";
    for(int i=0;i<dimension;++i)
        cout<< w[i] <<" ";
    cout<< bias <<endl;

    vl_svm_delete(svm);
}

更新

此外，我尝试通过除以255来缩放输入数据，但它没有效果。

更新2：

极低的lambda = 0.000001似乎解决了这个问题。

Answer 1

这是因为VLFeat中的SVM求解器不直接估计模型和偏差，而是使用向数据添加常量分量的解决方法（如http://www.vlfeat.org/api/svm-fundamentals.html中所述）并返回相应的模型权重偏压。

因此，偏差项是正则化器的一部分，具有较高偏差的模型在能量方面受到“惩罚”。在您的情况下，这种效果特别强，因为您的数据维度极低:) 因此，您需要选择较小的正则化参数LAMBDA来降低正则化器的重要性。