我创建了一个例程,将大型CSV文件附加到一个文件中。我正在跟踪数据帧的数量,这样我就不会在下一个追加中重复标题。这目前正在工作,但我想知道是否有更好的方法来编写此代码。
init = 0
#combined all files in a list
for file in csv_files:
chunk_container = pd.read_csv(file, chunksize=CHUNK_SIZE)
# export to csv
for chunk in chunk_container:
if init == 0:
chunk.to_csv(output_file, mode="w", index=False)
else:
chunk.to_csv(output_file, mode="a", index=False, header=None)
init += 1