我正在尝试将大尺寸list
转换为数据框。
列表len(rows_list)
的长度为15347782
,非常大。
使用此功能可以很好地处理较小的列表:
df = pd.DataFrame(rows_list)
但是,当我尝试将此大小的列表转换为数据帧时,由于memory error
而中断了。
在将数据写入数据帧时是否有任何方法可以实现chunksize
?就像我们在将大尺寸文件写入csv或从csv读取大尺寸文件时那样。
或者还有其他顺利的方法可以执行此任务吗?
提前致谢!