使用Pandas合并大型CSV文件的绝佳方法

时间:2020-03-12 05:33:54

标签: python pandas dataframe

我创建了一个例程,将大型CSV文件附加到一个文件中。我正在跟踪数据帧的数量,这样我就不会在下一个追加中重复标题。这目前正在工作,但我想知道是否有更好的方法来编写此代码。

    init = 0
    #combined all files in a list
    for file in csv_files:
            chunk_container = pd.read_csv(file, chunksize=CHUNK_SIZE)
            # export to csv
            for chunk in chunk_container:
                if init == 0:
                    chunk.to_csv(output_file, mode="w", index=False)
                else:
                    chunk.to_csv(output_file, mode="a", index=False, header=None)
                init += 1

0 个答案:

没有答案