我正在研究一个文本分类问题，我已经设置了这个问题（我已经省略了简洁的数据处理步骤，但他们会生成一个名为data的数据框，其中包含{ {1}}和X）：
y现在我尝试通过对2/3数据进行训练并在剩下的1/3上对其进行评分来验证此模型，如下所示：
import sklearn.model_selection as ms
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.ensemble import RandomForestClassifier
sim = Pipeline([('vec', TfidfVectorizer((analyzer="word", ngram_range=(1, 2))),
("rdf", RandomForestClassifier())])
我想为三个不同的测试集做三次，但使用train, test = ms.train_test_split(data, test_size = 0.33)
sim.fit(train.X, train.y)
sim.score(test.X, test.y)
# 0.533333333333
给我的结果要低得多。
cross_val_score据我所知，该阵列中的每个分数都应该通过训练2/3的数据并使用ms.cross_val_score(sim, data.X, data.y)
# [ 0.29264069 0.36729223 0.22977941]
方法对剩余的1/3进行评分来产生。那他们为什么都这么低？
答案 0 :(得分：9)
我在写我的问题的过程中解决了这个问题，所以在这里：
sim.score的默认行为是使用cross_val_score或KFold来定义折叠。默认情况下，两者都有参数StratifiedKFold，因此不会从数据中随机抽取折叠：
shuffle=False我的原始数据是按标签排列的，所以我采用这种默认行为来预测我在培训数据中没有看到的很多标签。如果我强制使用import numpy as np
import sklearn.model_selection as ms
for i, j in ms.KFold().split(np.arange(9)):
print("TRAIN:", i, "TEST:", j)
TRAIN: [3 4 5 6 7 8] TEST: [0 1 2]
TRAIN: [0 1 2 6 7 8] TEST: [3 4 5]
TRAIN: [0 1 2 3 4 5] TEST: [6 7 8]
（我正在进行分类，因此KFold是默认值），这就更加明显了：
StratifiedKFold手工做事让我获得了更高的分数，因为ms.cross_val_score(sim, data.text, data.label, cv = ms.KFold())
# array([ 0.05530776, 0.05709188, 0.025 ])
ms.cross_val_score(sim, data.text, data.label, cv = ms.StratifiedKFold(shuffle = False))
# array([ 0.2978355 , 0.35924933, 0.27205882])
ms.cross_val_score(sim, data.text, data.label, cv = ms.KFold(shuffle = True))
# array([ 0.51561106, 0.50579839, 0.51785714])
ms.cross_val_score(sim, data.text, data.label, cv = ms.StratifiedKFold(shuffle = True))
# array([ 0.52869565, 0.54423592, 0.55626715])
与train_test_split的做法相同。