我正在处理一个熊猫数据框,需要保存以供以后检查。目前,我正在使用以下命令对其进行序列化/反序列化:
# write
with open(self.fp, 'w') as f:
self.df.to_json(path_or_buf=f, orient='records')
# read
self.df = pd.read_json(f.read(), orient='records')
但是,这非常慢!可能比普通json.loads()
慢大约十倍。是否有一种更好的格式可以保存给熊猫,以便我以后可以打开它而不必等待几分钟?也许像from/to_pickle
之类的东西,或者建议的最快方式是什么?
(此外,请注意,这是我的本地资料/数据,因此我不关心任何用户输入的数据的安全性问题。)