创建一个非常大的numpy数组时的MemoryError

时间:2016-05-13 15:20:16

标签: python arrays numpy

我试图创建一个非常大的numpy零数组,然后将另一个数组中的值复制到大的零数组中。我正在使用Pycharm并且我不断获得:MemoryError即使我尝试只创建数组。以下是我尝试创建零数组的方法:

import numpy as np

last_array = np.zeros((211148,211148))

根据这个问题,我尝试将Pycharm中的内存堆从750米增加到1024米:https://superuser.com/questions/919204/how-can-i-increase-the-memory-heap-in-pycharm,但这似乎没什么帮助。

如果您想进一步澄清,请与我们联系。谢谢!

1 个答案:

答案 0 :(得分:8)

研究在scipy中使用稀疏数组功能:
scipy.sparse documentation

scipy.sparse库中有一组示例和教程:
Scipy lecture notes: Sparse Matrices in SciPy

这可以帮助您解决内存问题,并使一切运行得更快。

要创建一个空的稀疏数组,其中包含您在评论中询问的某些位置的值:

  

有没有办法在某些位置创建一个包含值的空数组,例如:last_array [211147] [9]但其他地方都是空的?

from scipy.sparse import *
values = [42]
row_ind = [211147]
col_ind = [9] 
last_array = csc_matrix((values, (row_ind, col_ind)), shape=(211148,211148))

print(last_array[211147,9])