我有相当大的pandas DataFrames和Panels存储到磁盘,有些是1GB以北。在过去,我一直在使用.to_pickle和.read_pickle,但通常保存和检索过程大于2分钟。反正有加速吗?我已经尝试过HDF5存储,而且我没有看到速度的显着提高(尽管我可能没有正确使用它)。是否有任何库/示例代码可以指向我哪些可能有用?
%time cov_pickle = pd.read_pickle(r' Pickled.p') 通话时间:1分29秒
%time hd_method = pd.read_hdf(r' Store.h5',' corr') 壁挂时间:1分钟32秒
谢谢!