如何在此程序中创建稀疏矩阵而不是密集矩阵?

时间:2015-11-03 19:18:30

标签: python numpy sparse-matrix

我有这个delta函数有3个案例。 mask1mask2,如果其中任何一项都不满意delta = 0,那么res = np.zeros

def delta(r, dr):
    res = np.zeros(r.shape)
    mask1 = (r >= 0.5*dr) & (r <= 1.5*dr)
    res[mask1] = (5-3*np.abs(r[mask1])/dr \
        - np.sqrt(-3*(1-np.abs(r[mask1])/dr)**2+1)) \
        /(6*dr)
    mask2 = np.logical_not(mask1) & (r <= 0.5*dr)
    res[mask2] = (1+np.sqrt(-3*(r[mask2]/dr)**2+1))/(3*dr)
    return res

然后我有另外一个函数,我调用前者并构造一个数组E

def matrix_E(nk,X,Y,xhi,eta,dx,dy):
   rx =  abs(X[np.newaxis,:] - xhi[:,np.newaxis])
   ry =  abs(Y[np.newaxis,:] - eta[:,np.newaxis])
   deltx = delta(rx,dx)
   delty = delta(ry,dy)
   E = deltx*delty
   return E

问题在于E的大多数元素属于delta的第三种情况,0。大多数意味着大约99%。 所以,我想有一个稀疏矩阵而不是一个密集的矩阵,而不是为了节省内存而存储0个元素。

我有什么想法可以做到吗?

1 个答案:

答案 0 :(得分:1)

创建稀疏矩阵的常规方法是构造三个具有非零值的1d数组及其ij索引。然后将它们传递给coo_matrix函数。

坐标不必按顺序排列,因此您可以为2个非零掩码情况构造数组并将它们连接起来。

这是使用2个面具的示例构造

In [107]: x=np.arange(5)

In [108]: i,j,data=[],[],[]

In [110]: mask1=x%2==0
In [111]: mask2=x%2!=0

In [112]: i.append(x[mask1])
In [113]: j.append((x*2)[mask1])

In [114]: i.append(x[mask2])
In [115]: j.append(x[mask2])

In [116]: i=np.concatenate(i)
In [117]: j=np.concatenate(j)

In [118]: i
Out[118]: array([0, 2, 4, 1, 3])

In [119]: j
Out[119]: array([0, 4, 8, 1, 3])

In [120]: M=sparse.coo_matrix((x,(i,j)))

In [121]: print(M)
  (0, 0)    0
  (2, 4)    1
  (4, 8)    2
  (1, 1)    3
  (3, 3)    4

In [122]: M.A
Out[122]: 
array([[0, 0, 0, 0, 0, 0, 0, 0, 0],
       [0, 3, 0, 0, 0, 0, 0, 0, 0],
       [0, 0, 0, 0, 1, 0, 0, 0, 0],
       [0, 0, 0, 4, 0, 0, 0, 0, 0],
       [0, 0, 0, 0, 0, 0, 0, 0, 2]])

coo格式按原样存储这3个数组,但在转换为其他格式并打印时,它们会被排序和清理。

我可以根据你的情况调整这个,但这可能足以让你开始。

看起来X,Y,xhi,eta是1d数组。然后rxry为2d。 delta返回与其输入形状相同的结果。 E = deltx*delty表明deltaxdeltay形状相同(或至少可播放)。

由于稀疏矩阵使用.multiply方法进行元素乘法,我们可以专注于生成稀疏delta矩阵。

如果你负担得到rx的内存和几个面具,那么你也可以负担deltax(所有相同的大小)。即使deltax有很多零,也可能最快使其变得密集。

但是让我们尝试将delta计算作为稀疏构建。

这看起来就像你在delta中所做的一样,至少有一个面具:

从2d数组开始:

In [138]: r = np.arange(24).reshape(4,6)    
In [139]: mask1 = (r>=8) & (r<=16)
In [140]: res1 = r[mask1]*0.2
In [141]: I,J = np.where(mask1)

得到的矢量是:

In [142]: I
Out[142]: array([1, 1, 1, 1, 2, 2, 2, 2, 2], dtype=int32)    
In [143]: J
Out[143]: array([2, 3, 4, 5, 0, 1, 2, 3, 4], dtype=int32)
In [144]: res1
Out[144]: array([ 1.6,  1.8,  2. ,  2.2,  2.4,  2.6,  2.8,  3. ,  3.2])

制作稀疏矩阵:

In [145]: M=sparse.coo_matrix((res1,(I,J)), r.shape)    
In [146]: M.A
Out[146]: 
array([[ 0. ,  0. ,  0. ,  0. ,  0. ,  0. ],
       [ 0. ,  0. ,  1.6,  1.8,  2. ,  2.2],
       [ 2.4,  2.6,  2.8,  3. ,  3.2,  0. ],
       [ 0. ,  0. ,  0. ,  0. ,  0. ,  0. ]])

我可以使用mask2创建另一个稀疏矩阵,并添加两个。

In [147]: mask2 = (r>=17) & (r<=22)    
In [148]: res2 = r[mask2]*-0.4
In [149]: I,J = np.where(mask2)
In [150]: M2=sparse.coo_matrix((res2,(I,J)), r.shape)
In [151]: M2.A
Out[151]: 
array([[ 0. ,  0. ,  0. ,  0. ,  0. ,  0. ],
       [ 0. ,  0. ,  0. ,  0. ,  0. ,  0. ],
       [ 0. ,  0. ,  0. ,  0. ,  0. , -6.8],
       [-7.2, -7.6, -8. , -8.4, -8.8,  0. ]])

...
In [153]: (M1+M2).A
Out[153]: 
array([[ 0. ,  0. ,  0. ,  0. ,  0. ,  0. ],
       [ 0. ,  0. ,  1.6,  1.8,  2. ,  2.2],
       [ 2.4,  2.6,  2.8,  3. ,  3.2, -6.8],
       [-7.2, -7.6, -8. , -8.4, -8.8,  0. ]])

或者我可以连接res1res2等,并制作一个稀疏矩阵:

In [156]: I1,J1 = np.where(mask1)
In [157]: I2,J2 = np.where(mask2)
In [158]: res12=np.concatenate((res1,res2))
In [159]: I12=np.concatenate((I1,I2))
In [160]: J12=np.concatenate((J1,J2))
In [161]: M12=sparse.coo_matrix((res12,(I12,J12)), r.shape)

In [162]: M12.A
Out[162]: 
array([[ 0. ,  0. ,  0. ,  0. ,  0. ,  0. ],
       [ 0. ,  0. ,  1.6,  1.8,  2. ,  2.2],
       [ 2.4,  2.6,  2.8,  3. ,  3.2, -6.8],
       [-7.2, -7.6, -8. , -8.4, -8.8,  0. ]])

这里我选择了蒙版,因此非零值不重叠,但两种方法都有效。它是coo格式的分离设计特征,可以对重复索引的值求和。在为有限元问题创建稀疏matry时,这是非常方便的功能。

我还可以通过从掩码中创建稀疏矩阵来获取索引数组:

In [179]: rmask1=sparse.coo_matrix(mask1)

In [180]: rmask1.row
Out[180]: array([1, 1, 1, 1, 2, 2, 2, 2, 2], dtype=int32)

In [181]: rmask1.col
Out[181]: array([2, 3, 4, 5, 0, 1, 2, 3, 4], dtype=int32)
In [184]: sparse.coo_matrix((res1, (rmask1.row, rmask1.col)),rmask1.shape).A
Out[184]: 
array([[ 0. ,  0. ,  0. ,  0. ,  0. ,  0. ],
       [ 0. ,  0. ,  1.6,  1.8,  2. ,  2.2],
       [ 2.4,  2.6,  2.8,  3. ,  3.2,  0. ],
       [ 0. ,  0. ,  0. ,  0. ,  0. ,  0. ]])
但是,我不能从稀疏版本的r创建一个掩码。 (r>=8) & (r<=16)。稀疏矩阵尚未实现这种不等式测试。但这可能无关紧要,因为r可能并不稀疏。