对不起,我觉得这可能是一个基本问题,但是我没有找到任何“解决方案”。
我正在用大量数据填充python
列表,最后想将其转换为numpy.array
进行进一步处理。
但是,当我调用numpy.asarray(my_list)
时,出现内存不足错误。为什么会这样呢?是因为numpy.array
对象存储在连续的内存块中,而没有足够的内存空间吗?
那我如何最好地处理如此大的数据量?我猜想numpy
肯定是要走的路,所以我有点好奇,我可以用简单的list
对象来处理这样的卷,而不能用我目前的numpy
方法来处理。
再次重复我最重要的问题:我怎样才能最好地处理适合python
lists
的数据(所以我认为总体上它仍然可以存储在我的内存中),但是无法转换为numpy.array
?
谢谢!
答案 0 :(得分:0)
为numpy数组分配内存,从不首先创建列表。
由于原始列表适合存储在内存中,因此内存映射不是必需的。