Question

如果我有两个非稀疏矩阵A和B，当我只想要C=A.T.dot(B)的元素子集时，有没有办法有效地计算C ？我有所需的C索引以CSC格式存储，指定为here。

Answer 1

如果您事先知道C的哪些部分，并且其中一些部分是连续的矩形区域*，那么您可以使用与分区矩阵的乘法（1）或块相关联的矩阵代数规则矩阵乘法（2）以加速其中一些计算。例如，您可以使用@GaryBishop的相同基本逻辑，但不是拥有'i'和'j'元素的列表，而是有一个包含i -start，i_end和j_start，j_end四元组的列表（或数组）定义C的子矩阵然后你可以使用那些索引（虽然在这些链接中建立的规则）来找出你需要为所需的C块求解的A和B的子矩阵。

举一个简单的例子，假设你只想要C的中间块，所以我们按行将C分为C1，C2和C3，我们关心的只是C2。如果A ^ {T}同样被划分为三组行A1，A2，A3，那么C2 = A2 * B.该想法推广到任何形状的矩形，它只需要A和B的不同分区来计算。这个想法是一样的。

- 这很简单，但如果区域大于单个元素，您只能节省时间。

Answer 2

不是使用Python迭代坐标（GaryBishop的答案），你可以让numpy做循环，这构成了一个显着的加速（下面的时间）：

def sparse_mult(a, b, coords) :
    rows, cols = zip(*coords)
    rows, r_idx = np.unique(rows, return_inverse=True)
    cols, c_idx = np.unique(cols, return_inverse=True)
    C = np.dot(a[rows, :], b[:, cols])
    return C[r_idx, c_idx]

>>> A = np.arange(12).reshape(3, 4)
>>> B = np.arange(15).reshape(3, 5)
>>> np.dot(A.T, B)
array([[100, 112, 124, 136, 148],
       [115, 130, 145, 160, 175],
       [130, 148, 166, 184, 202],
       [145, 166, 187, 208, 229]])
>>> sparse_mult(A.T, B, [(0, 0), (1, 2), (2, 4), (3, 3)])
array([100, 145, 202, 208])

sparse_mult返回您在提供的坐标处作为元组列表的值的展平数组。我对稀疏矩阵格式不太熟悉，所以我不知道如何从上面的数据中定义CSC，但是以下工作：

>>> coords = [(0, 0), (1, 2), (2, 4), (3, 3)]
>>> sparse.coo_matrix((sparse_mult(A.T, B, coords), zip(*coords))).tocsc()
<4x5 sparse matrix of type '<type 'numpy.int32'>'
    with 4 stored elements in Compressed Sparse Column format>

这是各种替代方案的时机：

>>> import timeit
>>> a = np.random.rand(2000, 3000)
>>> b = np.random.rand(3000, 5000)
>>> timeit.timeit('np.dot(a,b)[[0, 0, 1999, 1999], [0, 4999, 0, 4999]]', 'from __main__ import np, a, b', number=1)
5.848562187263569
>>> timeit.timeit('sparse_mult(a, b, [(0, 0), (0, 4999), (1999, 0), (1999, 4999)])', 'from __main__ import np, a, b, sparse_mult', number=1)
0.0018596387374678613
>>> np.dot(a,b)[[0, 0, 1999, 1999], [0, 4999, 0, 4999]]
array([ 758.76351111,  750.32613815,  751.4614542 ,  758.8989648 ])
>>> sparse_mult(a, b, [(0, 0), (0, 4999), (1999, 0), (1999, 4999)])
array([ 758.76351111,  750.32613815,  751.4614542 ,  758.8989648 ])

Answer 3

忽略CSC业务，或许回答一个比你问的更简单的问题。这是我如何在给定C索引值元组列表的情况下计算C元素的子集。

由于您正在评估C = A.T.dot（B），因此您将A的列乘以B的列。所以，

for i, j in indexList:
    C[i, j] = np.dot(A[:,i], B[:,j])

我猜这不是你想要的，但我发现简单的答案有时有助于澄清问题。

计算矩阵乘法的子集

3 个答案: