sklearn Ridge和sample_weight给出内存错误

时间:2014-03-31 16:25:31

标签: python scikit-learn regression

我试图使用一系列样本权重来运行简单的Sklearn Ridge回归。 X_train是一个~200k×100的2D Numpy阵列。我尝试使用sample_weight选项时出现内存错误。没有这个选项,它工作得很好。为了简单起见,我将功能减少到2,而sklearn仍然会让我感到内存错误。 有什么想法吗?

model=linear_model.Ridge()

model.fit(X_train, y_train,sample_weight=w_tr)

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/g/anaconda/lib/python2.7/site-packages/sklearn/linear_model/ridge.py", line 449, in fit
    return super(Ridge, self).fit(X, y, sample_weight=sample_weight)
  File "/home/g/anaconda/lib/python2.7/site-packages/sklearn/linear_model/ridge.py", line 338, in fit
    solver=self.solver)
  File "/home/g/anaconda/lib/python2.7/site-packages/sklearn/linear_model/ridge.py", line 286, in ridge_regression
    K = safe_sparse_dot(X, X.T, dense_output=True)
  File "/home/g/anaconda/lib/python2.7/site-packages/sklearn/utils/extmath.py", line 83, in safe_sparse_dot
    return np.dot(a, b)
MemoryError

2 个答案:

答案 0 :(得分:8)

设置样本权重会导致sklearn linear_model Ridge对象处理数据的方式有很大差异 - 特别是如果矩阵很高(n_samples&gt; n_features),就像你的情况一样。如果没有样本权重,它将利用X.T.dot(X)是一个相对较小的矩阵(在您的情况下为100x100)的事实,因此将在特征空间中反转矩阵。对于给定的样本权重,Ridge对象决定留在样本空间中(为了能够单独对样本进行加权,请参阅相关行herehere以分支到_solve_dense_cholesky_kernel在样本空间中工作)因此需要反转与X.dot(XT)相同大小的矩阵(在您的情况下为n_samples x n_samples = 200000 x 200000并且在创建之前将导致内存错误)。这实际上是一个实现问题,请参阅下面的手动解决方法。

TL; DR: Ridge对象无法处理要素空间中的样本权重,并将生成矩阵n_samples x n_samples,这会导致内存错误

在等待scikit学习中可能的补救措施时,您可以尝试明确解决特征空间中的问题,如此

import numpy as np
alpha = 1.   # You did not specify this in your Ridge object, but it is the default penalty for the Ridge object
sample_weights = w_tr.ravel()  # make sure this is 1D
target = y.ravel()  # make sure this is 1D as well
n_samples, n_features = X.shape
coef = np.linalg.inv((X.T * sample_weights).dot(X) + 
                      alpha * np.eye(n_features)).dot(sample_weights * target)

对于新样本X_new,您的预测将是

prediction = np.dot(X_new, coef)

为了确认这种方法的有效性,您可以在将代码应用于较少数量的样本(例如300)时将这些系数与您的代码中的model.coef_(在您使用模型之后)进行比较,这不会导致与Ridge对象一起使用时出现内存错误。

重要:如果您的数据已经居中,则上面的代码只与sklearn实现一致,即您的数据必须具有均值0.通过此处使用截距拟合实现完整岭回归将相当于scikit学习,所以最好发布它there。中心数据的方法如下:

X_mean = X.mean(axis=0)
target_mean = target.mean()   # Assuming target is 1d as forced above

然后使用

上提供的代码
X_centered = X - X_mean
target_centered = target - target_mean

对于新数据的预测,您需要

prediction = np.dot(X_new - X_mean, coef) + target_mean

编辑:截至2014年4月15日,scikit-learn ridge回归可以解决这个问题(前沿代码)。它将在0.15版本中提供。

答案 1 :(得分:1)

您安装了哪些NumPy版本?

看起来最终的方法调用是numpy.dot(X, X.T),如果在您的情况下X.shape = (200000,2)会产生200k×200k的矩阵。

尝试将您的观察结果转换为稀疏矩阵类型或减少您使用的观察数量(可能有一个岭变换的变体,一次使用一批观察?)。