由于巨大的输入数据,导致内存不足错误

时间:2018-08-09 16:39:48

标签: python-3.x

我正在使用python中的RandomForestClassifier来预测输入图像中的像素是在单元格内部还是在单元格外部,以作为改善图像的预处理阶段,问题是训练集的数据大小为8.36GB并且测试数据的大小为8.29GB,因此,每当我运行程序时,都会出现(内存不足)错误。扩展内存不起作用吗?有什么方法可以读取包含多个步骤的数据的csv文件,然后在每一步之后释放内存?

1 个答案:

答案 0 :(得分:0)

希望您正在使用熊猫来处理此csv文件,因为在本地python中这几乎是不可能的。至于您的内存问题,这是一篇很棒的文章,解释了如何通过对熊猫中的数据进行分块来处理大型csv文件。 http://pythondata.com/working-large-csv-files-python/