在Python中加载大型稀疏马赛克崩溃

时间:2015-05-06 07:36:32

标签: python sparse-matrix

我在Python中使用csr_matrix在16GB RAM系统上加载 ~3GB 稀疏数据集(几百万个colmuns和几万行)。

我有三个列表:行,列和值,我使用以下行加载矩阵:

A = csr_matrix((listOfValues, (listOfRows, listOfCols)))

然而上传失败(我看到它在崩溃之前使用了~15GB的RAM)。

我做错了吗?

0 个答案:

没有答案