numpy lstsq - 内存和运行时性能

时间:2012-12-08 09:20:31

标签: performance memory numpy linear-algebra

我需要解决(在最小二乘意义上)大型(50,000)线性系统。每个这样的“系统”是Ax=BA是N-by-K矩阵,x是k-by-1向量,B(显然)是N-n by-1矢量。 (在我的情况下,N是50,000,K是~10)。

numpy.linalg.lstsq似乎是明显的选择,但由于文档中没有包含任何实现细节,我对内存和运行时性能感到疑惑:

lstsq的运行时性能和内存要求是什么?

  1. 它会计算A,A ^ T,乘以它们,然后取反,还是直接计算A的伪逆?
  2. 有没有办法直接计算结果的每个X [i],从而节省内存?它会用吗?

1 个答案:

答案 0 :(得分:5)

documentation将结果描述为包括奇异值和等级;强烈暗示它正在使用SVD。

我的笔记本电脑上的快速测试表明,在分配了阵列A和B后,内存根本没有上升(由系统监视器报告)。

In [7]: A = np.random.randn(100000, 10)

In [8]: B = np.random.randn(100000)

In [9]: np.linalg.lstsq(A, B)
Out[9]: 
(array([ 0.00240061,  0.0017896 ,  0.00619928,  0.00010278, -0.00411501,
         0.00028532,  0.0003893 , -0.00042893,  0.00178326, -0.00444068]),
 array([ 99695.18278372]),
 10,
 array([ 318.37776275,  318.16578799,  317.82872616,  317.21981114,
         316.80987468,  315.63798002,  315.46574698,  314.73120345,
         313.99948001,  313.61503118]))