我正在编写一个构建稀疏矩阵的python软件。其尺寸可以从10.000 x 10.000到30.000 x 30.000。到目前为止,我使用scipy.sparse来完成它,但它很难,因为我想以多进程方式构建它。
截至目前,我有一个将数据发送到工作进程的进程,以及一个"矩阵进程"收到细胞从工人那里增加(我不想在每个工作过程中复制矩阵)。
嗯......让我说我不满意。
我虽然使用Redis存储稀疏矩阵,并调用" INC 2:3"增加细胞(2,3)。然后,当所有工作者完成后,我可以通过检索所有键来检索矩阵,以便构造scipy.sparse(值为0的单元格将赢得任何键)。
要构建一个矩阵,它需要500.000.000.000 inc操作,以及30个工作进程之类的东西。这是一个上限,因为它也将用于较小的计算,如45.000.000 inc操作和3个工人。
你认为Redis会比scipy.sparse更好吗?或者您还有其他建议吗?
谢谢!