将大型pickle文件加载到变量中会访问硬盘而不是加载到RAM中

时间:2017-08-17 08:52:25

标签: python ipython pickle bigdata

我有一个大的pickle文件(大约5GB),其中包含我需要定期访问以运行模拟的数据。该文件包含3x1.6百万行浮点值。

with open('Largepicklefile.pkl') as f:  # Python 3: open(..., 'wb')
    datR=pickle.load(f)

我使用此变量datR作为模拟的一部分。我有16GB RAM,当我加载这个pickle文件时很难使用,但它似乎访问硬盘驱动器定期读取文件(从文件时间戳和主要硬盘活动中注明)。我希望通过减少硬盘访问来提高我的模拟速度。如何一次将大型pickle文件直接加载到内存(或大块内存)中,以便最低限度地访问硬盘?

0 个答案:

没有答案