手动计算SVM的决策函数

时间:2015-02-13 16:15:46

标签: python scikit-learn svm libsvm svc

我试图使用python库SKLearn手动计算SVC分类器的decision_function(而不是使用内置方法)。

我尝试了多种方法,但是,当我扩展我的数据时,我只能进行手动计算。

z是一个测试数据(已被缩放),我认为其他变量不言自明(同样,我使用rbf内核,如果代码中不明显的话)

以下是我尝试过的方法:

1循环方法:

dec_func = 0
for j in range(np.shape(sup_vecs)[0]):

    norm2 = np.linalg.norm(sup_vecs[j, :] - z)**2 
    dec_func = dec_func + dual_coefs[0, j] * np.exp(-gamma*norm2)

dec_func += intercept

2矢量化方法

diff = sup_vecs - z
norm2 = np.sum(np.sqrt(diff*diff), 1)**2
dec_func = dual_coefs.dot(np.exp(-gamma_params*norm2)) + intercept

但是,这些都不会返回与decision_function相同的值。我认为这可能与重新调整我的价值观有关,或者更可能与我过度看待的东西有关!

任何帮助都将不胜感激。

1 个答案:

答案 0 :(得分:1)

因此,经过多次挖掘和头部刮擦,我已经弄明白了。

正如我上面提到的,z是一个已经缩放的测试数据。为了扩展它,我必须从preprocessing.StandardScaler()对象中提取.mean_.std_属性(当然在我的训练数据上调用.fit()之后)。

然后我使用这个缩放的z作为我的手动计算和内置函数的输入。然而,内置函数是管道的一部分,已经将StandardScaler作为管道中的第一个“管道”,因此z被缩放两次! 因此,当我从管道中删除缩放时,手册回答“匹配”内置函数的答案。

我在引号中说“匹配”,因为我发现我总是不得不翻转手动计算的符号以匹配内置版本。目前我不知道为什么会这样。

总而言之,我误解了管道的工作原理。

对于那些感兴趣的人,这是我的手动方法的最终版本:

diff = sup_vecs - z_scaled
# Looping Method
dec_func_loop = 0
for j in range(np.shape(sup_vecs)[0]):
    norm2 = np.linalg.norm(diff[j,:]) 
    dec_func_loop = dec_func_loop + dual_coefs[j] * np.exp(-gamma*(norm2**2))

dec_func_loop = -1 * (dec_func_loop - intercept)

# Vectorized method
norm2 = np.array([np.linalg.norm(diff[n, :]) for n in range(np.shape(sup_vecs)[0])])
dec_func_vec = -1 * (dual_coefs.dot(np.exp(-gamma*(norm2**2))) - intercept)

附录

对于有兴趣实现多类SVC的手动方法的人,以下链接很有用:https://stackoverflow.com/a/27752709/1182556