如何在Pandas中编写庞大的数据帧

Question

我的pandas数据帧大小为21909,2003（行，列），我想通过以下代码将其转换为csv。

dpF.to_csv("outputFile.csv", encoding='utf-8')

在这行代码后，我的电脑正在挂起，我没有得到任何输出。 有没有办法以最佳方式编写如此庞大的数据帧。

  

系统配置

     

  
• 操作系统：ubuntu 16.04 LTS
  
• 操作系统类型：64位
  
• 内存：7.7 GiB
  
• 处理器：英特尔®酷睿™i5-4590 CPU @ 3.30GHz×4
  

Answer 1

您可以使用chunksize parameter：

df.to_csv("outputFile.csv", encoding='utf-8', chunksize=2000)

  

chunksize ：int或None

     

一次写入的行