如何在熊猫中编写具有10cr行和10列的大型csv

Question

我有一个熊猫数据框，其中有10余行和10列。我想以csv格式编写它。目前我正在使用以下

  df.to_csv("df1.csv")

写入文件需要很长时间。我们可以将其压缩后再写入csv吗？

Answer 1

不确定这是否有必要加快速度，但您将df拆分为单独的df，然后将其写出。

# split df into 10 chunks
batch = 0
for chunk in np.array_split(df, 10):
    filename = 'my_filename_' + str(batch) + '.csv'    
    chunk.to_csv(filename, compression='zip')
    batch +=1

您可以并行处理并异步写出每个文件，但这可能会增加内存使用量