无法理解SVM和LR中决策边界的绘图

时间:2013-07-30 09:47:00

标签: python numpy machine-learning svm svc

例如我们有f(x)= x。如何策划?我们取一些x然后计算y并再次执行此操作,然后逐点绘制图表。简单明了。

但我无法理解如此清晰地绘制决策边界 - 当我们没有绘制时,只有x。

SVM的Python代码:

h = .02  # step size in the mesh
Y = y
# we create an instance of SVM and fit out data. We do not scale our
# data since we want to plot the support vectors
C = 1.0  # SVM regularization parameter
svc = svm.SVC(kernel='linear', C=C).fit(X, Y)
rbf_svc = svm.SVC(kernel='rbf', gamma=0.7, C=C).fit(X, Y)
poly_svc = svm.SVC(kernel='poly', degree=3, C=C).fit(X, Y)
lin_svc = svm.LinearSVC(C=C).fit(X, Y)

# create a mesh to plot in
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
                     np.arange(y_min, y_max, h))


for i, clf in enumerate((svc, rbf_svc, poly_svc, lin_svc)):
    # Plot the decision boundary. For that, we will asign a color to each
    # point in the mesh [x_min, m_max]x[y_min, y_max].

绘制图表的所有内容都在这里,我的理解:

    pl.subplot(2, 2, i + 1)
    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])

    # Put the result into a color plot
    Z = Z.reshape(xx.shape)
    pl.contourf(xx, yy, Z, cmap=pl.cm.Paired)
    pl.axis('off')

    # Plot also the training points
    pl.scatter(X[:, 0], X[:, 1], c=Y, cmap=pl.cm.Paired)

pl.show()

有人可以用文字解释这种情节是如何运作的吗?

1 个答案:

答案 0 :(得分:6)

基本上,您正在绘制函数f : R^2 -> {0,1},因此它是一个从二维空间到只有两个值的退化空间的函数 - 01

首先,生成要在其上显示函数的网格。如果您的示例包含f(x)=y,您可以选择一些间隔[x_min,x_max],在该间隔上您将获取距离为eps的点,并绘制相应的f

x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
                     np.arange(y_min, y_max, h))

接下来,我们计算函数值,在我们的例子中它是SVM.predict函数,它导致01

Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])

与您为所有分析f(x)

计算x的示例相同

现在,可能导致误解的“棘手”部分是

pl.contourf(xx, yy, Z, cmap=pl.cm.Paired)

此函数绘制f函数的轮廓。为了在平面上可视化三维函数,通常会创建等高线图,它就像是您的函数高度图。如果在它们周围检测到f的值发生较大变化,则在点之间绘制一条线。

来自mathworld sample contour plot

的好例子

显示此类情节的示例。

对于SVM,我们只有两个可能的值 - 01,因此,轮廓线正好位于您的这些部分2d空格,一边是f(x)=0,另一边是f(x)=1。因此,即使它看起来像是一个“二维图”,但它不是 - 这个形状,您可以观察(决策边界)是三维函数中最大差异的可视化。

在为多分类示例可视化的sklearn文档中,当我们有f : R^2 -> {0,1,2}时,这个想法完全相同,但是在相邻的x1和x2之间绘制了轮廓{{1} 1}}。

SVM multiclass