Question

我有一组自定义功能和一组使用Vectorizer创建的功能，在本例中为TfidfVectorizer。

我的所有自定义功能都是简单的np.arrays（例如[0,5,4,22,1]）。我使用StandardScaler来扩展我的所有功能，正如我在管道中看到的那样，通过在我的“自定义管道”之后调用StandardScaler。问题是我是否有办法或需要缩放我在“vectorized_pipeline”中使用的矢量化器。在矢量化器上应用StandardScaler似乎不起作用（我得到以下错误：“ValueError：无法居中稀疏矩阵”）。

另一个问题是，在我在FeatureUnion中加入它们之后扩展我的所有功能是合理的还是我分别扩展它们（在我的例子中，通过分别调用“pos_cluster”和“stylistic_features”中的缩放器）而不是在两者都加入后调用它，这样做的更好的做法是什么？

from sklearn.pipeline import FeatureUnion, Pipeline
from sklearn import feature_selection
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.preprocessing import StandardScaler
from sklearn.svm import LinearSVC

X = ['I am a sentence', 'an example']
Y = [1, 2]
X_dev = ['another sentence']

inner_scaler = StandardScaler()
# classifier
LinearSVC1 = LinearSVC(tol=1e-4,  C = 0.10000000000000001)

# vectorizers
countVecWord = TfidfVectorizer(ngram_range=(1, 3), max_features=2000, analyzer=u'word', sublinear_tf=True, use_idf = True, min_df=2, max_df=0.85, lowercase = True)
countVecWord_tags = TfidfVectorizer(ngram_range=(1, 4), max_features= 1000, analyzer=u'word', min_df=2, max_df=0.85, sublinear_tf=True, use_idf = True, lowercase = False)


pipeline = Pipeline([
    ('union', FeatureUnion(
            transformer_list=[

            ('vectorized_pipeline', Pipeline([
                ('union_vectorizer', FeatureUnion([

                    ('stem_text', Pipeline([
                        ('selector', ItemSelector(key='stem_text')),
                        ('stem_tfidf', countVecWord)
                    ])),

                    ('pos_text', Pipeline([
                        ('selector', ItemSelector(key='pos_text')),
                        ('pos_tfidf', countVecWord_tags)
                    ])),

                ])),
                ])),


            ('custom_pipeline', Pipeline([
                ('custom_features', FeatureUnion([

                    ('pos_cluster', Pipeline([
                        ('selector', ItemSelector(key='pos_text')),
                        ('pos_cluster_inner', pos_cluster)
                    ])),

                    ('stylistic_features', Pipeline([
                        ('selector', ItemSelector(key='raw_text')),
                        ('stylistic_features_inner', stylistic_features)
                    ]))

                ])),
                    ('inner_scale', inner_scaler)
            ])),

            ],

            # weight components in FeatureUnion
            # n_jobs=6,

            transformer_weights={
                'vectorized_pipeline': 0.8,  # 0.8,
                'custom_pipeline': 1.0  # 1.0
            },
    )),

    ('clf', classifier),
    ])

pipeline.fit(X, Y)
y_pred = pipeline.predict(X_dev)

Answer 1

首先要做的事情：

错误“无法居中稀疏矩阵”

原因很简单 - StandardScaler有效地应用了特征转换：

f_i = (f_i - mean(f_i)) / std(f_i)

对于稀疏矩阵将导致密集的矩阵，因为均值（f_i）将非零（通常）。在实践中，只有与其手段相同的特征 - 最终将为零。 Scikit学习不想这样做，因为这是对数据的巨大修改，这可能导致代码的其他部分失败，内存的大量使用等。如何处理它？如果你真的想这样做，有两种选择：

通过.toarray（）来压缩你的矩阵，这将需要大量的内存，但会完全满足你的期望
创建没有平均值的StandardScaler，因此StandardScaler(with_mean = False)会安装willl将f_i = f_i / std(f_i)，但会保留数据的稀疏格式。

需要scalind吗？

这是另一个问题 - 通常，缩放（任何形式）只是启发式。这不是你必须应用的东西，不能保证它会有所帮助，当你不知道你的数据是什么时，它是一个合理的事情。 “智能”矢量化器，例如tfidf，实际上已经这样做了。 idf转换应该创建一种合理的数据缩放。无法保证哪一个会更好，但总的来说，tfidf应该足够了。特别是考虑到事实，它仍然支持稀疏计算，而StandardScaler则不支持稀疏计算。

你需要在sklearn中扩展Vectorizer吗？

1 个答案:

错误“无法居中稀疏矩阵”

需要scalind吗？