Question

我有一个大数据矩阵，我想计算那个大矩阵的相似度矩阵，但由于内存限制，我想分割计算。

让我们假设我有以下内容：对于示例，我采用了较小的矩阵

data1 = data/np.linalg.norm(data,axis=1)[:,None]

(Pdb) data1
array([[ 0.        ,  0.        ,  0.        , ...,  0.        ,
         0.        ,  0.        ],
       [ 0.        ,  0.        ,  0.        , ...,  0.        ,
         0.        ,  0.        ],
       [ 0.04777415,  0.00091094,  0.01326067, ...,  0.        ,
         0.        ,  0.        ],
       ...,
       [ 0.        ,  0.01503281,  0.00655707, ...,  0.        ,
         0.        ,  0.        ],
       [ 0.00418038,  0.00308079,  0.01893477, ...,  0.        ,
         0.        ,  0.        ],
       [ 0.06883803,  0.        ,  0.0209448 , ...,  0.        ,
         0.        ,  0.        ]])

我尝试做以下事情：

similarity_matrix[n1:n2,m1:m2] = np.einsum('ik,jk->ij', data1[n1:n2,:], data1[m1:m2,:])

n1，n2，m1，m2计算如下：（df是数据框）

data = df.values
m, k = data.shape
n1=0; n2=m/2; m1=n2+1; m2=m;

但错误是：

(Pdb) similarity_matrix[n1:n2,m1:m2] = np.einsum('ik,jk->ij', data1[n1:n2,:], data1[m1:m2,:])
*** NameError: name 'similarity_matrix' is not defined

Answer 1

你没有像

那样做

similarity_matrix = np.empty((N,M),dtype=float)

在计算开始时？

在创建数组之前，您无法在等式的右侧或左侧索引数组。

如果完整的(N,M)矩阵对于内存而言太大，那么只需将einsum值分配给另一个变量，然后使用它。

partial_matrix = np.einsum...

如何将partial_matrix与虚拟similarity_matrix相关联是一个不同的问题。

使用einsum分裂矩阵乘法

1 个答案: