我有一个大矩阵(236680 * 236680),我的电脑没有足够的内存来读取完整的矩阵,所以我在想Scipy稀疏矩阵。我的目标是将生成的矩阵(非稀疏)乘以np.eye(观察次数)-np.ones(观察次数)/用稀疏矩阵观察的次数。
在Scipy中,我使用以下代码,但计算仍然很大。我的问题包括:
-
from scipy.sparse import lil_matrix
fline=5
nn=1/fline
M=lil_matrix((fline,fline))
M.setdiag(values=1-nn,k=0)
for i in range(fline)[1:]:
M.setdiag(values=0-nn,k=i)
M.setdiag(values=0-nn,k=-i)
#the first matrix is:
array([[ 0.8, -0.2, -0.2, -0.2, -0.2],
[-0.2, 0.8, -0.2, -0.2, -0.2],
[-0.2, -0.2, 0.8, -0.2, -0.2],
[-0.2, -0.2, -0.2, 0.8, -0.2],
[-0.2, -0.2, -0.2, -0.2, 0.8]])
#the second matrix is:
array([[0., 0., 0., 1., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 1., 0.],
[0., 0., 0., 0., 0.],
[1., 0., 1., 0., 0.]])
a2=M.dot(B)
#the final expected results
array([[-0.2, 0. , -0.2, 0.6, 0. ],
[-0.2, 0. , -0.2, -0.4, 0. ],
[-0.2, 0. , -0.2, 0.6, 0. ],
[-0.2, 0. , -0.2, -0.4, 0. ],
[ 0.8, 0. , 0.8, -0.4, 0. ]])
更新:有没有办法提高跨产品的速度?测试Numpy dot和Scipy稀疏点函数。
答案 0 :(得分:1)
对于第一个问题:数学上,
arr1 = array([[ 0.8, -0.2, -0.2, -0.2, -0.2],
[-0.2, 0.8, -0.2, -0.2, -0.2],
[-0.2, -0.2, 0.8, -0.2, -0.2],
[-0.2, -0.2, -0.2, 0.8, -0.2],
[-0.2, -0.2, -0.2, -0.2, 0.8]])
相当于
arr1 = -0.2 * [[1,1,1,1,1,], + 1
[1,1,1,1,1,], 1
[1,1,1,1,1,], 1
[1,1,1,1,1,], 1
[1,1,1,1,1,]] 1
= [1] [1, 1, 1, 1, 1] * 0.2 + 1
[1] 1
[1] 1
[1] 1
[1] 1
因此,它可以使用
生成-0.2 * np.outer([1,1,1,1,1], [1,1,1,1,1]) + scipy.sparse.identity(5)
对于第二个问题,让我滥用符号
-0.2* [1] [1, 1, 1, 1, 1] @ B + scipy.sparse.identity(5) @ B
[1]
[1]
[1]
[1]
可以缩减为
np.outer([1, 1, 1, 1, 1], B.sum(axis=0)) * -0.2 + scipy.sparse.identity(5) @ B
一个人不需要真正计算np.outer([1, 1, 1, 1, 1], B.sum(axis=0))
,因为这将是一个内存可能不适合的密集方阵。 (请注意,外部产品基本上在其包含的每一行中重复B.sum(axis=0)
。)
要以内存有效的方式恢复结果,您只需要存储B.sum(axis=0)
和scipy.sparse.identity(5) @ B
。
答案 1 :(得分:0)
使用Scipy稀疏矩阵,因为其中一个matrics是稀疏矩阵,稀疏矩阵中的叉积函数是Numpy和Scipy之间最快的。
对于第一个问题,@ Tai的答案是基础,但我使用numpy.full函数(稍快一点)。
对于第二个问题,使用划分整个矩阵并将较小的计算矩阵保存在文件中。
from scipy import sparse
from scipy.sparse import vstack
import h5sparse
import numpy as num
fline=236680
nn=1/fline; dd=1-nn; off=0-nn
div=int(fline/(61*10))
for i in range(61*10):
divM= num.full((fline, div), off) + sparse.identity(fline,format='csc')[:,0+div*i:div+div*i]
vs=[]
for j in range(divM.shape[1]):
divMB=csr_matrix(divM.T[j]).dot(weights)
vs.append(divMB)
divapp=vstack(vs)
if i ==0:
h5f = h5sparse.File("F:/dissertation/dallastest/temp/tt1.h5")
h5f.create_dataset('sparse/matrix', data=divapp, chunks=(389,),maxshape=(None,))
else:
h5f['sparse/matrix'].append(divapp)