Question

注意这是不关于多元回归的问题，这是一个关于在Python / NumPy（2.7）中多次执行简单（单变量）回归的问题。

我有两个 m x n 数组x和y。行彼此对应，并且每对是用于测量的（x，y）点的集合。也就是说，plt.plot(x.T, y.T, '.')将绘制每个 m 数据集/度量。

我想知道执行 m 线性回归的最佳方法是什么。目前我循环遍历行并使用scipy.stats.linregress()。（假设我不想要基于对矩阵进行线性代数的解决方案，而是希望使用此函数或等效的黑盒函数。）我可以尝试np.vectorize，但文档指出它也循环。

通过一些实验，我还找到了一种方法，可以使用map()列表推导并获得正确的结果。我已将两种解决方案都放在下面。在IPython中，`%% timeit``使用一个小数据集（注释掉）返回：

(loop) 1000 loops, best of 3: 642 µs per loop
(map) 1000 loops, best of 3: 634 µs per loop

为了尝试放大这个，我制作了一个更大的随机数据集（维度trials x trials）：

(loop, trials = 1000)  1 loops, best of 3: 299 ms per loop
(loop, trials = 10000) 1 loops, best of 3: 5.64 s per loop
(map, trials = 1000)   1 loops, best of 3: 256 ms per loop
(map, trials = 10000)  1 loops, best of 3: 2.37 s per loop

在一个非常大的集合上，这是一个不错的加速，但我期待更多。还有更好的方法吗？

import numpy as np
import matplotlib.pyplot as plt
import scipy.stats as stats
np.random.seed(42)
#y = np.array(((0,1,2,3),(1,2,3,4),(2,4,6,8)))
#x = np.tile(np.arange(4), (3,1))
trials = 1000
y = np.random.rand(trials,trials)
x = np.tile(np.arange(trials), (trials,1))
num_rows = shape(y)[0]
slope = np.zeros(num_rows)
inter = np.zeros(num_rows)
for k, xrow in enumerate(x):
    yrow = y[k,:]
    slope[k], inter[k], t1, t2, t3 = stats.linregress(xrow, yrow)
#plt.plot(x.T, y.T, '.')
#plt.hold = True
#plt.plot(x.T, x.T*slope + intercept)
# Can the loop be removed?
tempx = [x[k,:] for k in range(num_rows)]
tempy = [y[k,:] for k in range(num_rows)]
results = np.array(map(stats.linregress, tempx, tempy))
slope_vec = results[:,0]
inter_vec = results[:,1]
#plt.plot(x.T, y.T, '.')
#plt.hold = True
#plt.plot(x.T, x.T*slope_vec + inter_vec)
print "Slopes equal by both methods?: ", np.allclose(slope, slope_vec)
print "Inters equal by both methods?: ", np.allclose(inter, inter_vec)

Answer 1

单变量线性回归非常简单，可以手动对其进行矢量化：

def multiple_linregress(x, y):
    x_mean = np.mean(x, axis=1, keepdims=True)
    x_norm = x - x_mean
    y_mean = np.mean(y, axis=1, keepdims=True)
    y_norm = y - y_mean

    slope = (np.einsum('ij,ij->i', x_norm, y_norm) /
             np.einsum('ij,ij->i', x_norm, x_norm))
    intercept = y_mean[:, 0] - slope * x_mean[:, 0]

    return np.column_stack((slope, intercept))

有一些补充数据：

m = 1000
n = 1000
x = np.random.rand(m, n)
y = np.random.rand(m, n)

它比你的循环选项更优秀：

%timeit multiple_linregress(x, y)
100 loops, best of 3: 14.1 ms per loop

Python多元简单线性回归

1 个答案: