嗨我有一条简单的线为一个相当大的数据集创建一个随机数组:
import numpy as np
import random
N=276233
L=138116
np.random.random([L,N])
但是我收到了这个错误:
Traceback (most recent call last):
File "<string>", line 3 (23), in <module>
File "mtrand.pyx", line 760, in mtrand.RandomState.random_sample (numpy\random\mtrand\mtrand.c:5713)
File "mtrand.pyx", line 137, in mtrand.cont0_array (numpy\random\mtrand\mtrand.c:1300)
MemoryError
解决方案是什么?数组的限制是什么?
答案 0 :(得分:9)
您正在尝试创建一个需要284GB内存的数组:
In [16]: L * N * 8 / (1024. ** 3)
Out[16]: 284.25601890683174
要么购买更多RAM(并确保您的系统可以处理它),要么找到一种不必生成276,233
x 138,116
矩阵的方法。