用knn-classifier进行边界决策

Question

我想找到边界决策函数，以便对我的数据进行分类。这是他们的一个例子。

 "Distance","Dihedral","Categ"
    4.083,82.267,C
    4.132,87.073,C
    4.713,-80.999,C
    3.427,-48.144,NC
    3.663,96.994,C
    3.99,71.919,C
    3.484,78.684,C

到目前为止，我已经获得了knn模型，但我想绘制非线性决策边界。在我搜索的例子中，有一些变量我不知道在哪里使用它们或它们是什么意思。我正在谈论我在“统计学习要素”中发现的这个例子。书

library(ElemStatLearn)
require(class)
x <- mixture.example$x
g <- mixture.example$y
xnew <- mixture.example$xnew
mod15 <- knn(x, xnew, g, k=15, prob=TRUE)
prob <- attr(mod15, "prob")
prob <- ifelse(mod15=="1", prob, 1-prob)
px1 <- mixture.example$px1
px2 <- mixture.example$px2
prob15 <- matrix(prob, length(px1), length(px2))
par(mar=rep(2,4))
contour(px1, px2, prob15, levels=0.5, labels="", xlab="", ylab="", main=
        "15-nearest neighbour", axes=FALSE)
points(x, col=ifelse(g==1, "coral", "cornflowerblue"))
gd <- expand.grid(x=px1, y=px2)
points(gd, pch=".", cex=1.2, col=ifelse(prob15>0.5, "coral", "cornflowerblue"))
box()

px1和px2究竟是什么？我的特定情况是否需要类似的变量？

非常感谢你的帮助！

Answer 1

我已经重新设计并注释了这个例子，以明确发生了什么。

该示例构建了一个测试集，它只是一个扩展的网格，可以转换整个测试集。因此，px1是描述测试数据的网格的x分量的向量，并且px2类似，但是对于y。然后xnew是expand.grid()的结果。

尝试以下代码，这应该相当清楚。我还修改了k值，并提供了一种使用您选择的间隔构造xnew的简单方法。

library(ElemStatLearn)
require(class)

# Use the training data from mixture.example
x <- mixture.example$x
g <- mixture.example$y

# Construct a test grid using the extent of the training data
xx_range <- round(range(x[, 1]), 1)
xy_range <- round(range(x[, 2]), 1)

nnn <- 0.1
px1 <- seq(xx_range[1], xx_range[2], by = nnn) # vector with x extent
px2 <- seq(xy_range[1], xy_range[2], by = nnn) # vector with y extent
xnew <- as.matrix(expand.grid(px1, px2))       # matrix of new values

# Train a model
k <- 10
mod15 <- knn(x, xnew, g, k=k, prob=TRUE)
prob <- attr(mod15, "prob")
prob <- ifelse(mod15=="1", prob, 1-prob)
prob15 <- matrix(prob, length(px1), length(px2))

# Plot the results
par(mar=rep(2,4))
contour(px1, px2, prob15, levels=0.5, labels="", xlab="", ylab="", main=
          sprintf("%d-nearest neighbour", k), axes=FALSE)
points(x, col=ifelse(g==1, "coral", "cornflowerblue"))
points(xnew, pch=".", cex=1.2, col=ifelse(prob15>0.5, "coral", "cornflowerblue"))
box()