标签: python sqlite pickle joblib
我使用joblib.dump()为RainForestClassifer训练样本生成了大约6 GB的大量pickle文件。每次执行都必须使用joblib.load()加载pickle对象以处理输入数据。加载时间非常长,随后达到了脚本执行的性能。
是否有一种方法可以将一旦加载的对象保存在内存中,并使其可用于后续python执行而不调用joblib.load()。
使用像sqlite这样的数据库是否有助于更快地加载数据?