有没有办法知道很长的数据库panda`to_csv`的状态？

Question

在熊猫中，我有一个非常大的数据框，我试图将其写入CSV文件。这花费了很长时间（几个小时，还没有完成），我想知道是否有任何方法可以在此命令中检查已完成的百分比。

我在to_csv中查找了所有参数，似乎没有什么帮助

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_csv.html

pd.to_csv('thefile.csv', chunksize =1000 )

我想随时获得状态，块编号等

Answer 1

如果要花费数小时来编写数据帧，那么正如@AntonvBR建议的那样，您应该寻找更好的替代方法。

如果您仍然想使用csv，则可以拆分数据帧并将其写入。这样，您还将了解其进展情况。这是代码。

import pandas as pd
import numpy as np

df_split = np.array_split(df, 10) # Choose a bigger number

for i in range(0,10): # Use the number of splits
    print(i)
    df_split[i].to_csv("the_file.csv", mode='a', header=False)