Question

我第一次玩sklearn和NLP，以为我了解自己所做的一切，直到不知道如何解决该错误为止。以下是相关代码（主要从http://zacstewart.com/2015/04/28/document-classification-with-scikit-learn.html改编而成）：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.pipeline import Pipeline, FeatureUnion
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import TruncatedSVD
from sgboost import XGBClassifier
from pandas import DataFrame

def read_files(path):
    for article in os.listdir(path):
        with open(os.path.join(path, doc)) as f:
            text = f.read()
        yield os.path.join(path, article), text

def build_data_frame(path, classification)
    rows = []
    index = []
    for filename, text in read_files(path):
        rows.append({'text': text, 'class': classification})
        index.append(filename)
    df = DataFrame(rows, index=index)
    return df

data = DataFrame({'text': [], 'class': []})
for path, classification in SOURCES: # SOURCES is a list of tuples
    data = data.append(build_data_frame(path, classification))
data = data.reindex(np.random.permutation(data.index))

classifier = Pipeline([
    ('features', FeatureUnion([
        ('text', Pipeline([
            ('tfidf', TfidfVectorizer()),
            ('svd', TruncatedSVD(algorithm='randomized', n_components=300)
            ])),
        ('words', Pipeline([('wscaler', StandardScaler())])),
    ])),
    ('clf, XGBClassifier(silent=False)),
])
classifier.fit(data['text'].values, data['class'].values)

加载到DataFrame中的数据是经过预处理的文本，其中包含所有停用词，标点符号，Unicode，大写字母等。这是我在分类器上调用fit时遇到的错误，其中...表示应该在管道中进行过vecorized的文档之一：

ValueError: could not convert string to float: ...

我首先认为TfidfVectorizer（）无法正常工作，从而导致SVD算法出错，但是在我从流水线中提取每个步骤并依次实现它们之后，相同的错误只出现在XGBClassifer.fit（）上。

更让我感到困惑的是，我试图在解释器中逐步分解该脚本，但是当我尝试导入read_files或build_data_frame时，相同的ValueError出现了我的一个字符串，但这是就在……之后：

from classifier import read_files

我不知道怎么回事，如果有人知道我明显的错误可能是什么，我将非常感激。试图自己绕过这些概念，但是遇到这样的问题会使我感到无能为力。

Answer 1

管道的第一部分是FeatureUnion。 FeatureUnion会将并行获取的所有数据传递给所有内部部分。 FeatureUnion的第二部分是包含单个StandardScaler的管道。那就是错误的根源。

这是您的数据流：

X --> classifier, Pipeline
            |
            |  <== X is passed to FeatureUnion
            \/
      features, FeatureUnion
                      |
                      |  <== X is duplicated and passed to both parts
        ______________|__________________
       |                                 |
       |  <===   X contains text  ===>   |                         
       \/                               \/
   text, Pipeline                   words, Pipeline
           |                                  |   
           |  <===    Text is passed  ===>    |
          \/                                 \/ 
       tfidf, TfidfVectorizer            wscaler, StandardScaler  <== Error
                 |                                   |
                 | <==Text converted to floats       |
                \/                                   |
              svd, TruncatedSVD                      |
                       |                             |
                       |                             |
                      \/____________________________\/
                                      |
                                      |
                                     \/
                                   clf, XGBClassifier

由于文本被传递到StandardScaler，因此引发了错误，StandardScaler仅适用于数字特征。

就像您正在使用TfidfVectorizer将文本转换为数字一样，在将其发送到TruncatedSVD之前，您需要在StandardScaler之前执行相同的操作，否则只能为其提供数字功能。

看看有问题的说明，您打算在TruncatedSVD结果之后保留StandardScaler吗？

Sklearn Pipeline ValueError：无法将字符串转换为浮点型

1 个答案: