取消巨大的泡菜文件

时间:2016-02-16 12:15:07

标签: python sqlite pickle joblib

我使用joblib.dump()为RainForestClassifer训练样本生成了大约6 GB的大量pickle文件。每次执行都必须使用joblib.load()加载pickle对象以处理输入数据。加载时间非常长,随后达到了脚本执行的性能。

是否有一种方法可以将一旦加载的对象保存在内存中,并使其可用于后续python执行而不调用joblib.load()。

使用像sqlite这样的数据库是否有助于更快地加载数据?

0 个答案:

没有答案