Question

我正在使用dict vectorize将我的分类变量转换为稀疏矩阵。然后使用Logistic回归和随机森林来训练模型。我的问题是，下次有新数据进入时，如何将其转换为稀疏矩阵框，然后使用训练模型进行预测？

以下是我的代码示例：

dv_x, y = dictVectorizeData(inputData, header)
# dv_x is a <740051x1112 sparse matrix of type '<type 'numpy.float64'>'
# with 9620663 stored elements in Compressed Sparse Row format>

lr_cv = LogisticRegressionCV(penalty='l1', solver='liblinear', Cs=[10**i for i in range(-4,2)], cv=5, refit=True)
lr_cv.fit(dv_X, Y)

现在有一个新数据，比如格式：

{
    'banner_position': '0',
    'connspeed': 'broadband',
    'creative_format': '728x90',
    'creative_id': '4688677',
    'day_hour_etc': '1',
    'domain': 'cdn.bitmedianetwork.com',
    'exch': 'cox',
    'home_bus': 'business',
    'is_mobile': 'non-mobile',
    'os_family': 'windows',
    'os_major': '8',
    'ua_family': 'ie',
    'ua_major': '9'
}

Answer 1

我认为dictVectorizeData是您定义的调用sklearn.feature_extraction.DictVectorizer的函数。要转换新数据，您需要访问此DictVectorizer实例。

例如：

from sklearn.feature_extraction import DictVectorizer
vec = DictVectorizer()
X = vec.fit_transform(input_data)

from sklearn.linear_model import LogisticRegressionCV
lr_cv = LogisticRegressionCV()
lr_cv.fit(X, y_input)

X_new = vec.transform(new_data)
y_new = lr_cv.predict(X_new)

因为总是必须手动转换输入有点繁琐，所以通常更容易创建pipeline来自动执行此操作：

from sklearn.pipeline import make_pipeline
pipe = make_pipeline(DictVectorizer(), LogisticRegressionCV())
pipe.fit(input_data, y_input)
y_new = pipe.predict(new_data)

此处的y_new结果与第一个代码块中的结果相同。

如何使用dictVectorize转换新的输入数据并使用该模型？

1 个答案: