Question

我试图在我的火车和测试数据集上运行不同类型的SVM回归。我的所有代码都正常工作，但我觉得我没有正确运行它，因为在列车和测试中获得的准确度大于0.95，这确实太高了。

以下是我如何运行回归的代码。数据集太大而无法上传（10000行等），但包含已缩放的所有数字变量。

我认为我在自己的模型上运行测试而不是在火车模型上运行，但是无法解决如何更改它。我想这与所有类型的SVM都是一样的错误，所以我只是上传了两种方式来实现它的整洁。

我希望我能够很好地解释它，如果不能改写的话。

##non linear methods
set.seed(123)
poly.tune = tune.svm(default_flag~., data=train, kernel="polynomial",degree=c(3), coef0=c(0.1))
#summary(poly.tune)
#train
best.poly = poly.tune$best.model
poly.train = predict(best.poly, newdata=train)
svmnonlintrain<-table(poly.train, train$default_flag)
##accuracy from table
nonlineartrain<-(svmnonlintrain[1,1]+svmnonlintrain[2,2])/(svmnonlintrain[1,1]+svmnonlintrain[1,2]+svmnonlintrain[2,1]+svmnonlintrain[2,2])

#test
best.poly = poly.tune$best.model
poly.test = predict(best.poly, newdata=test)
svmnonlin<-table(poly.test, test$default_flag)
##accuracy from table
nonlineartest<-(svmnonlin[1,1]+svmnonlin[2,2])/(svmnonlin[1,1]+svmnonlin[1,2]+svmnonlin[2,1]+svmnonlin[2,2])

##radial basis function
set.seed(123)
rbf.tune = tune.svm(default_flag~., data=train, kernel="radial",gamma=c(0.1,0.5))
#summary(rbf.tune)

#train
best.rbf = rbf.tune$best.model
rbf.train = predict(best.rbf, newdata=train)
svmradialtrain <- table(rbf.train, train$default_flag)
radialtrain<-(svmradialtrain[1,1]+svmradialtrain[2,2])/(svmradialtrain[1,1]+svmradialtrain[1,2]+svmradialtrain[2,1]+svmradialtrain[2,2])

#test
best.rbf = rbf.tune$best.model
rbf.test = predict(best.rbf, newdata=test)
svmradial <- table(rbf.test, test$default_flag)
radialtest<-(svmradial[1,1]+svmradial[2,2])/(svmradial[1,1]+svmradial[1,2]+svmradial[2,1]+svmradial[2,2])

Answer 1

让我猜一下：这是一个信用风险数据集，您可以预测违约概率（响应变量default_flag）。如果这与其他所有信用风险数据集一样，那么您的响应变量非常不平衡，其非默认值比默认值多得多。我再猜测它有超过90％的非默认值。

如果是这样，我只能通过预测每个人都不会违约来获得90％的准确率。当然，这不是非常有用。

错误率不是衡量不平衡数据性能的一个非常有意义的指标。使用另一个度量，如AUC或基尼系数，甚至是熵（二元对数似然）。

支持矢量机在火车上和测试

1 个答案: