Question

我正在尝试对虹膜数据集进行预测。我决定使用svms来达到这个目的。但是，它给我一个准确度1.0。这是过度拟合的情况还是因为模型非常好？这是我的代码。

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
svm_model = svm.SVC(kernel='linear', C=1,gamma='auto')
svm_model.fit(X_train,y_train)
predictions = svm_model.predict(X_test)
accuracy_score(predictions, y_test)

这里，accuracy_score返回值1.请帮帮我。我是机器学习的初学者。

Answer 1

虹膜数据集从哪里获得好结果并不是特别困难。但是，您不相信100％分类准确度模型。在您的示例中，问题是30个测试点都已正确分类。但这并不意味着您的模型能够很好地概括所有新数据实例。只需尝试将test_size更改为0.3，结果不再是100％（它会降至97.78％）。

保证稳健性和避免过度拟合的最佳方法是使用交叉验证。有关如何从示例中轻松完成此操作的示例：

from sklearn import datasets
from sklearn import svm
from sklearn.model_selection import train_test_split
from sklearn.model_selection import cross_val_score


iris = datasets.load_iris()
X = iris.data[:, :4]  
y = iris.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)

svm_model = svm.SVC(kernel='linear', C=1, gamma='auto')
scores = cross_val_score(svm_model, iris.data, iris.target, cv=10) #10 fold cross validation

此处cross_val_score使用数据集的不同部分作为迭代测试数据（交叉验证），同时保留所有先前的参数。如果检查score，您将看到现在计算的10个精度范围从87.87％到100％。要报告最终的模型性能，您可以使用例如得分值的平均值。

希望这会有所帮助，祝你好运！：）

Answer 2

您可以尝试cross validation：

示例：

from sklearn.model_selection import LeaveOneOut
from sklearn import datasets
from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score

#load iris data
iris = datasets.load_iris()
X = iris.data
Y = iris.target

#build the model
svm_model = SVC( kernel ='linear', C = 1, gamma = 'auto',random_state = 0 )

#create the Cross validation object
loo = LeaveOneOut()

#calculate cross validated (leave one out) accuracy score
scores = cross_val_score(svm_model, X,Y, cv = loo, scoring='accuracy')

print( scores.mean() )

结果（自从我们使用留一法以来150倍的平均准确度）：

0.97999999999999998

底线：

交叉验证（尤其是LeaveOneOut）是避免过度拟合并获得稳健结果的好方法。

支持向量机过度拟合我的数据

2 个答案: