我有一个大的pickle文件(大约5GB),其中包含我需要定期访问以运行模拟的数据。该文件包含3x1.6百万行浮点值。
with open('Largepicklefile.pkl') as f: # Python 3: open(..., 'wb')
datR=pickle.load(f)
我使用此变量datR
作为模拟的一部分。我有16GB RAM,当我加载这个pickle文件时很难使用,但它似乎访问硬盘驱动器定期读取文件(从文件时间戳和主要硬盘活动中注明)。我希望通过减少硬盘访问来提高我的模拟速度。如何一次将大型pickle文件直接加载到内存(或大块内存)中,以便最低限度地访问硬盘?