树分类器的极高精度度量

时间:2016-10-31 18:18:52

标签: python twitter machine-learning scikit-learn decision-tree

我正在开展一个项目,将每位候选人的总统辩论推文分为中性,正面和负面。 (不是当前的辩论数据集)。我正在使用Decision treesDecision tree ensembleAdaBoost进行培训。问题是我得到100%的准确度,这是非常奇怪和不可能的。

我拥有的数据采用bag-of-words模型的形式。词汇表中的每个单词由0/1表示,具体取决于每个推文中是否出现该单词。我在问题的最后列出了统计数据。 df_obama是一个包含奥巴马所有推文的数据框架。

df_Obama = pd.DataFrame.from_csv("../data/Obama_BagOfWords.csv")
df_Obama = df_Obama.reindex(np.random.permutation(df_Obama.index)).reset_index()
dataFeatures = df_Obama[allAttribs_Obama]
targetVar = list(df_Obama['Class'])

splitRatio = 0.9
splitPoint = int(splitRatio*len(dataFeatures))
dataFeatures_train = dataFeatures[:splitPoint]
dataFeatures_test = dataFeatures[splitPoint:]

targetVar_train = targetVar[:splitPoint]
targetVar_test = targetVar[splitPoint:]

clfObj = tree.DecisionTreeClassifier()
clfObj.fit(dataFeatures_train,targetVar_train)
preds = list(clfObj.predict(dataFeatures_test))
accScore = accuracy_score(targetVar_test,preds)
labels = [1,-1,0]

precision = precision_score(targetVar_test,preds,average=None,labels=labels)
recall = recall_score(targetVar_test,preds,average=None,labels=labels)
f1Score = f1_score(targetVar_test,preds,average=None,labels=labels)

print("Overall Acurracy",accScore)
print("precision",precision)
print("recall",recall)
print("f1Score",f1Score)

Overall Acurracy 1.0
precision [ 1.  1.  1.]
recall [ 1.  1.  1.]
f1Score [ 1.  1.  1.]

我无法弄清楚为什么会这样?指标如此之高是否有原因?我也试过不同的列车测试分割比例,结果似乎没有什么不同。

注意: 这是数据信息:

df_Obama.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 5465 entries, 0 to 5464
Columns: 13078 entries, level_0 to zzzzzzzzzz
dtypes: int64(13078)
memory usage: 545.3 MB

df_Obama.head(3)
0023Washington  08hayabusa  09Its   .... 09what 1000000th   
0               1           0            1       0
1               0           0            0       0
0               0           0            0       0

1 个答案:

答案 0 :(得分:1)

分类器是否可以看到目标值? df_Obama['Class']是否包含在要素数组中?目前尚不清楚,因为您没有显示allAttribs_Obama的价值。

另请查看documentation for decision trees on scikit-learn,具体为:

  

“决策树倾向于过度填充大量的数据   功能“。

您可能希望尝试缩小功能空间(请查看scikit-learn的documentation on feature selection)。

另外,您可以使用sklearn.model_selection.train_test_split创建培训和测试集。