我正在尝试尽快将大型数据框df(100K行乘100列)导出到CSV。
df包含不同数据类型的列,但是给定列的每一行都具有相同的数据类型。
使用熊猫的“ to_csv”大约需要190秒
import pandas as pd
df.to_csv(PathEXPORT,index=None)
相比之下,将数据框更改为列表列表并使用csv.writer大约需要花费时间。 180秒。
list_df = df.values.tolist()
import csv
with open(PathEXPORT, "w", newline='', encoding='utf-8') as f:
writer = csv.writer(f)
writer.writerows(list_df)
您对提高导出速度到CSV有什么建议吗?
非常感谢您