Python pandas:如何加快将数据帧导出到csv?

时间:2015-07-09 10:52:48

标签: python csv pandas export-to-csv

我正在使用python,pandas和scipy运行一些数值模拟。 我运行了一组场景,对于每个场景,我创建了一个包含大量输出的详细数据框,我将其保存为单独的CSV文件。每个CSV文件大约为900 KB。

我使用的这条线是:

mydataframe.to_csv('myoutput.csv')

我的问题是:有没有办法加快出口流程?一些特定的参数,一个不同的库等等。我问,因为写入CSV几乎占整个模拟时间的一半:运行18个场景需要17秒,其中7.2个花费在to_csv方法中。

PS我最初想写入Excel,但根据我的其他问题,这太慢了:Python: fastest way to write pandas DataFrame to Excel on multiple sheets

1 个答案:

答案 0 :(得分:0)

尝试压缩文件:

mydataframe.to_csv('myoutput.gz', compression='gzip')