所以我有这个大型文件数据集，我创建了一个程序将它们放入pickle文件但我只有2GB的RAM所以我不能将整个文件放在一个数组中所以如何将数据附加到多个批次＆＃34;填充数组内的数据，附加到pickle文件，清除数组，重复＆＃34;我怎么能这样做，
感谢
答案 0 :(得分：1)
实际上我认为没有可能将数据附加到pickle文件中，如果是的话，在尝试读取pickle文件时会遇到内存问题。
Pickle文件不适用于大数据存储，因此可能需要切换到其他文件格式。
您可以使用基于文本的格式，如csv，json，...或二进制格式，如hdf5，这些格式专门针对大量数值数据进行了优化。