将大列表写入数据帧

时间:2018-04-11 08:25:19

标签: python list pandas dataframe

我正在尝试将大尺寸list转换为数据框。 列表len(rows_list)的长度为15347782,非常大。 使用此功能可以很好地处理较小的列表:

df = pd.DataFrame(rows_list)

但是,当我尝试将此大小的列表转换为数据帧时,由于memory error而中断了。

在将数据写入数据帧时是否有任何方法可以实现chunksize?就像我们在将大尺寸文件写入csv或从csv读取大尺寸文件时那样。

或者还有其他顺利的方法可以执行此任务吗?

提前致谢!

0 个答案:

没有答案