读取多个数据文件时出现内存错误问题

Question

我需要读取多个波形（大约62个种子文件） 每个文件的数组长度为17280000，并在附加所有文件后将它们串联成一个文件。最后，重塑最终的数组。

我正在使用32内存的8核Ram计算机。请，我要修复此图片上所附的内存错误消息。 最好的问候

Answer 1

您的计算机内存不足，无法加载该阵列，它太大了。

以这种方式考虑，int32在Python中占用24个字节，您要求将4517769183加载到内存中，这比144GB多一点。

您可以使用NumPy的memmap功能将该文件存储在磁盘上，而不是存储在内存中，但是请记住生成的文件的大小！

您还可以研究xarray或theano，它们都是为像这样一点一点地处理数组而设计的库。只能将它们逐段加载到内存中。

或者您可以手动读取数据，并逐块训练，然后丢弃并加载下一个数据。