如何尽快加载大型存储的熊猫数据帧?

时间:2020-09-12 04:13:03

标签: python pandas performance

我正在处理一个熊猫数据框,需要保存以供以后检查。目前,我正在使用以下命令对其进行序列化/反序列化:

# write
with open(self.fp, 'w') as f:
    self.df.to_json(path_or_buf=f, orient='records')

# read
self.df = pd.read_json(f.read(), orient='records')

但是,这非常慢!可能比普通json.loads()慢大约十倍。是否有一种更好的格式可以保存给熊猫,以便我以后可以打开它而不必等待几分钟?也许像from/to_pickle之类的东西,或者建议的最快方式是什么?

(此外,请注意,这是我的本地资料/数据,因此我不关心任何用户输入的数据的安全性问题。)

0 个答案:

没有答案