Question

我目前正在使用带有线性内核的R（e1071）中的SVM来尝试对高维数据集进行分类。它由约300名患者组成，每位患者测量的基因活性水平约为12000。我的目标是根据这些基因活动预测某种药物的患者反应（二元：治疗是否有效）。

我想建立传递给tune.svm函数的成本值范围，这就是我遇到麻烦的地方。我的理解是，这样做的方法是逐渐尝试越来越小的值，直到分别建立合理性能的下限和上限;尽管如此，当我尝试这样做时，无论我付出多大或多小的代价，我的测试错误率都不会低于50％。这与我的实际数据集和这个玩具版本一起发生。如果这个子集太小，我可以提供更重要的一部分。谢谢你的任何建议。

我的代码：

dat.ex <- read.table("svm_ex.txt", header=T, row.names=1)
trainingSize <- 20
possibleCosts <- c(10^-50, 10^-25, 10^25, 10^50)
trainingDat <- sample(1:dim(dat.ex)[1], replace = FALSE, size = trainingSize)
ex.results <- vector()

for(i in 1:length(possibleCosts))
{
  svm.ex <- svm(dat.ex[trainingDat, -1], factor(dat.ex[trainingDat, 1]), kernel="linear", cost=possibleCosts[i], type="C-classification")
  test.ex <- predict(svm.ex, newdata=data.frame(x = dat.ex[-trainingDat,-1]))
  truth.ex <- table(pred = test.ex, truth = factor(dat.ex[-trainingDat,1]))
  exTestCorrectRate <- (truth.ex[1,1] + truth.ex[2,2])/(dim(dat.ex)[1] - trainingSize)
  ex.results[i] <- exTestCorrectRate  
}
print(ex.results)

Answer 1

首先，您尝试了C的丑陋怪异值。您应该检查更小范围的值（例如1e-15和1e10之间）以及更高的分辨率（例如 - 我建议的间隔为25个不同的值）。

其次，您拥有非常小的数据集。 20个具有10维的训练向量可能难以建模

Answer 2

我发现了这个问题。在完整的数据集中，大约2/3的响应是1和1/3是0.对于这些极端参数，每个响应被预测为1，因此测试错误率在50％-80％的范围内（有些由于训练数据选择而发生的波动）不断发生。

R中的SVM，成本值不影响测试错误率

2 个答案: