Question

使用Sklearn，我正在使用Logistic回归在Python中进行监督学习。我也使用交叉验证来测试我的预测准确度。

当我自己进行交叉验证时，我想测试是否有类似的结果。结果如下：

# X is my features. (m x p)
# y is labels. (m x 1)

# Using cross_validation.cross_val_score() function:
classifier = LogisticRegression()
scores1 = cross_validation.cross_val_score(classifier, X, y, cv=10)
print("Accuracy: %0.2f (+/- %0.2f)" % (scores1.mean(), scores1.std() * 2))

# Doing it "manual":
scores2 = np.array( [] )
classifier = LogisticRegression()
for i in range(10):
   X_train, X_test, y_train, y_test = cross_validation.train_test_split(X, y,
                                                    test_size=0.1, random_state=i)
   classifier.fit(X_train,y_train)
   score = classifier.score(X_test, y_test)
   scores2 = np.append(scores2, score)

print("Accuracy: %0.2f (+/- %0.2f)" % (scores2.mean(), scores2.std() * 2))

# This prints:
# Accuracy: 0.72 (+/- 0.47)
# Accuracy: 0.58 (+/- 0.52)

我有相当大的X和y。所以我没想到结果会有很大的不同。这种差异完全是由于过程随机性的性质还是在我的代码中遗漏了什么？

以下是cross_validation.cross_val_score（）的文档页面：

http://scikit-learn.org/stable/modules/generated/sklearn.cross_validation.cross_val_score.html

以下是cross_validation.train_test_split（）的文档页面：

http://scikit-learn.org/stable/modules/generated/sklearn.cross_validation.train_test_split.html

Answer 1

train_test_split使用随机训练和测试集拆分，而cross_val_score(cv=10)使用分层k折叠交叉验证。

尝试使用cv = ShuffleSplit（test_size = 0.1）。这应该会给你更多类似的结果。它不会使用您所做的相同随机播种，因此它们可能仍会有所不同。如果他们在彼此之外，那将会很奇怪。

Sklearn交叉验证产生的结果与手动执行不同

1 个答案: