Question

在scikit-learn中，如何对已存在于scipy.sparse矩阵中的数据运行HashingVectorizer？

我的数据采用svmlight格式，因此我使用sklearn.datasets.load_svmlight_file加载它并获取scipy.sparse矩阵。

来自scikit-learn的TfidfTransformer可以输入这样一个稀疏矩阵来进行变换，但是如何将相同的稀疏矩阵赋予HashingVectorizer来代替呢？

编辑：是否可以在稀疏矩阵上使用一系列方法调用，可能使用FeatureHasher？

编辑2：在与下面的用户cfh进行了有用的讨论之后，我的目标是从输入开始：从svmlight数据获得的稀疏计数矩阵到输出：令牌出现的矩阵，例如HashingVectorizer给出的。怎么可以这样做？

我在下面提供了一个示例代码，非常感谢有关如何做到这一点的一些帮助，提前感谢：

from sklearn.feature_extraction.text import TfidfTransformer
import numpy as np
from sklearn.feature_extraction.text import HashingVectorizer
from scipy.sparse import csr_matrix

# example data
X_train = np.array([[1., 1.], [2., 3.], [4., 0.]])
print "X_train: \n", X_train
# transform to scipy.sparse.csr.csr_matrix to be consistent with output from load_svmlight_file
X_train_crs = csr_matrix(X_train)
print "X_train_crs: \n", X_train_crs   
# no problem to run TfidfTransformer() on this csr matrix to get a transformed csr matrix
transformer = TfidfTransformer()
tfidf = transformer.fit_transform(X_train)
print "tfidf: \n", tfidf
# How do I use the HashingVectorizer with X_train_crs ?
hv = HashingVectorizer(n_features=2)

Answer 1

哈希基本上将单词随机组合成较少数量的桶。使用已计算的频率矩阵，您可以像这样模拟：

n_features = X_train.shape[1]
n_desired_features = n_features / 5
buckets = np.random.random_integers(0, n_desired_features-1, size=n_features)
X_new = np.zeros((X_train.shape[0], n_desired_features), dtype=X_train.dtype)
for i in range(n_features):
    X_new[:,buckets[i]] += X_train[:,i]

当然，您可以根据需要调整n_desired_features。只需确保对测试数据使用相同的buckets。

如果你需要为稀疏矩阵做同样的事情，你可以这样做：

M = coo_matrix((repeat(1,n_features), (range(n_features), buckets)),
               shape=(n_features,n_desired_features))
X_new = X_train.dot(M)

scikit-learn稀疏矩阵上的HashingVectorizer

1 个答案: