Question

我正在尝试一个多标签分类问题。我的数据看起来像这样

DocID   Content             Tags           
1       some text here...   [70]
2       some text here...   [59]
3       some text here...  [183]
4       some text here...  [173]
5       some text here...   [71]
6       some text here...   [98]
7       some text here...  [211]
8       some text here...  [188]
.       .............      .....
.       .............      .....
.       .............      .....

这是我的代码

traindf = pd.read_csv("mul.csv")
print "This is what our training data looks like:"
print traindf

t=TfidfVectorizer()

X=traindf["Content"]

y=traindf["Tags"]

print "Original Content"
print X
X=t.fit_transform(X)
print "Content After transformation"
print X
print "Original Tags"
print y
y=MultiLabelBinarizer().fit_transform(y)
print "Tags After transformation"
print y

print "Features extracted:"
print t.get_feature_names()
print "Scores of features extracted"
idf = t.idf_
print dict(zip(t.get_feature_names(), idf))

print "Splitting into training and validation sets..."
Xtrain, Xvalidate, ytrain, yvalidate = train_test_split(X, y, test_size=.5)

print "Training Set Content and Tags"
print Xtrain
print ytrain
print "Validation Set Content and Tags"
print Xvalidate
print yvalidate

print "Creating classifier"
clf = OneVsRestClassifier(LogisticRegression(penalty='l2', C=0.01))

clf.fit(Xtrain, ytrain)

predictions=clf.predict(Xvalidate)
print "Predicted Tags are:"
print predictions
print "Correct Tags on Validation Set are :"
print yvalidate
print "Accuracy on validation set: %.3f"  % clf.score(Xvalidate,yvalidate)

代码运行正常，但我一直收到这些消息

X:\Anaconda2\lib\site-packages\sklearn\multiclass.py:70: UserWarning: Label not 288 is present in all training examples.
  str(classes[c]))
X:\Anaconda2\lib\site-packages\sklearn\multiclass.py:70: UserWarning: Label not 304 is present in all training examples.
  str(classes[c]))
X:\Anaconda2\lib\site-packages\sklearn\multiclass.py:70: UserWarning: Label not 340 is present in all training examples.

这是什么意思？它是否表明我的数据不够多？

Answer 1

当某些项目存在于所有或多个记录中时，某些数据挖掘算法会出现问题。例如，当使用Apriori算法进行关联规则挖掘时，这是一个问题。

是否有问题取决于分类器。我不知道你正在使用的特定分类器，但是这里有一个例子，当它适合一个具有最大深度的决策树时。

假设您使用Hunt算法和GINI索引拟合具有最大深度的决策树以确定最佳分割（请参阅here以获得解释，向前滑动35）。第一次拆分可以是记录是否有标签288.如果每条记录都有这个标签，那么GINI指数对于这种分割是最佳的。这意味着第一次这么多分裂将是无用的，因为你实际上并没有分割训练集（你在一个空集中分裂，没有288，而集合本身就是288）。所以，树的第一个这么多级别都是无用的。如果您随后设置了最大深度，则可能会导致低精度的决策树。

在任何情况下，您获得的警告都不是您的代码的问题，最好是您的数据集。您应该检查您使用的分类器是否对这类事物敏感 - 如果是这样，当您过滤掉各处出现的标签时，它可能会产生更好的结果。

Python sklearn Multilabel分类：UserWarning：标签不是226在所有训练示例中都有

1 个答案: