我正在使用python,pandas和scipy运行一些数值模拟。 我运行了一组场景,对于每个场景,我创建了一个包含大量输出的详细数据框,我将其保存为单独的CSV文件。每个CSV文件大约为900 KB。
我使用的这条线是:
mydataframe.to_csv('myoutput.csv')
我的问题是:有没有办法加快出口流程?一些特定的参数,一个不同的库等等。我问,因为写入CSV几乎占整个模拟时间的一半:运行18个场景需要17秒,其中7.2个花费在to_csv方法中。
PS我最初想写入Excel,但根据我的其他问题,这太慢了:Python: fastest way to write pandas DataFrame to Excel on multiple sheets
答案 0 :(得分:0)
尝试压缩文件:
mydataframe.to_csv('myoutput.gz', compression='gzip')