MultinomialNB错误:“未知标签类型”

时间:2013-12-21 19:59:27

标签: python numpy scikit-learn

我有两个numpy数组,X_train和Y_train,其中第一个维度(700,1000)由值0,1,2,3,4和10填充。第二个维度(700,)是因为我正在使用烂番茄的API,所以由'新鲜'或'腐烂'的值填充。出于某种原因,当我执行:

nb = MultinomialNB()
nb.fit(X_train, Y_train)

我明白了:

ValueError: Unknown label type

我尝试构建一对较小的数组:

print xs, '\n', ys

给出

[[0 0 0 0 1]
 [1 0 0 2 5]
 [3 2 5 5 0]
 [3 2 0 0 1]
 [1 5 1 0 0]]

['rotten' 'fresh' 'fresh' 'rotten' 'fresh']

并且多项NB适合不会出现未知标签错误。关于为什么会发生这种情况的任何想法?

我还用numpy.unique检查了X_train,Y_train中的唯一值,看起来好像没有任何奇怪或错误的标签 - 它们都是“新鲜”或“烂”。

我生成X_train和Y_train的代码:

def make_xy(critics, vectorizer=None):
    stext = critics['quote'].tolist() # need to have a list
    if vectorizer == None:
        vectorizer = CountVectorizer(min_df=0)
    vectorizer.fit(stext)
    X = vectorizer.transform(stext).toarray() # this is X
    Y = np.asarray(critics['fresh'])
    return X[0:1000,0:1000], Y[0:1000] # this is X_train, Y_train

其中'评论家'是从CSV文件(https://www.dropbox.com/s/0lu5oujfm483wtr/critics.csv)导入的pandas数据框,并清除了所有丢失的数据:

critics = pd.read_csv('critics.csv')
critics = critics[~critics.quote.isnull()]
critics = critics[critics.fresh != 'none']
critics = critics[critics.quote.str.len() > 0]

2 个答案:

答案 0 :(得分:16)

问题似乎是y的类型。看起来像numpy没有设法弄清楚它是一个字符串。所以它被设置为通用对象。如果你改变:
 Y = np.asarray(critics['fresh'])Y = np.asarray(critics['fresh'], dtype="|S6")我认为它应该有用。

答案 1 :(得分:0)

我也遇到了同样的问题。 Numpy有时无法检测到数组的数据类型。所以,我们明确地给出它。 numpy所有类型的here is the documentation。根据您的要求选择数据类型,并将其提供为“dtype =”属性。