在进程对象之间共享SciPy稀疏数组

Question

我最近一直在学习Python多处理，并遇到了障碍。我有一个稀疏的SciPy数组（CSC格式），我需要在5个工作进程之间以只读格式共享。我读过this和this（numpy-shared），但这似乎只适用于密集类型。

如何在不复制（或使用最少复制）5个多处理过程对象的情况下共享scipy.sparse.csc_matrix（）？即使是numpy-shared方法似乎也需要复制整个数组，即便如此，我也不能将scipy.sparse转换为mp.Array（）。任何人都可以帮助我指出正确的方向吗？

谢谢！

Answer 1

我无法帮助您处理问题的多处理部分，但CSC稀疏矩阵只是三个numpy数组。您可以通过执行以下操作来实例化另一个稀疏矩阵b，与稀疏矩阵a共享相同的内存对象：

import scipy.sparse as sps

b = sps.csc_matrix((a.data, a.indices, a.indptr), shape=a.shape, copy=False)

a.data，a.indices和a.indptr是您要在进程之间共享的三个numpy数组，如果可以这样做，那么在每个进程中实例化稀疏矩阵将是一个廉价的操作。