Python-将大型数据框导出为CSV

时间:2018-07-08 11:49:34

标签: python pandas csv dataframe export

我正在尝试尽快将大型数据框df(100K行乘100列)导出到CSV。

df包含不同数据类型的列,但是给定列的每一行都具有相同的数据类型。

使用熊猫的“ to_csv”大约需要190秒

import pandas as pd

df.to_csv(PathEXPORT,index=None)

相比之下,将数据框更改为列表列表并使用csv.writer大约需要花费时间。 180秒。

list_df = df.values.tolist()

import csv

with open(PathEXPORT, "w", newline='', encoding='utf-8') as f:
   writer = csv.writer(f)
   writer.writerows(list_df)

您对提高导出速度到CSV有什么建议吗?

非常感谢您

0 个答案:

没有答案