如何快速读取csv文件并将其附加到单个熊猫数据框中

时间:2019-01-24 20:06:00

标签: pandas csv

我正在尝试从一个文件夹中读取4684个csv文件,每个文件包含2000行和102列,文件大小为418 kB。我正在使用以下代码逐一阅读并附加它们。

for file in allFiles:
    df = pd.read_csv(file,index_col=None, header = None)
    df2 = df2.append(df)

这需要4到5个小时才能读取所有4684文件并追加到数据帧中。是否有可能使此过程迅速完成。我正在使用32GB内存的i7。

谢谢

0 个答案:

没有答案