保存并加载pkl文件

时间:2014-04-07 21:08:36

标签: python dictionary io pickle

我正在使用pkl文件来保存我正在进行的数据分析的步骤。基本上在每个步骤(也是.py文件)中,我从上一步加载一个pkl文件,然后将结果保存在一个新的pkl中。

在我的最后一步中,加载过程非常慢,特别是与同一台计算机用于处理信息和创建文件的时间相比......我只是想找一些提示来了解发生了什么。

我的嫌疑人陷入了将信息存储在文件中的方式:我创建了一个包含所有内容的大字典。所以在最后一种情况下,我有两个字典(数字)A和B,一个数组C和两个字典(DataFrames)D和E;我保存为pkl的是

dict_to_save={'A':A, 'B':B, 'C':C, 'D':D, 'E':E}

怀疑的原因是前面步骤的pkl文件是较大的文件,但它们的字典具有较少的键(或内部不太复杂的数据类型)并且加载速度更快。

0 个答案:

没有答案