有什么方法可以让SciKit-Learn使用硬盘?

时间:2018-09-21 15:23:14

标签: python scikit-learn

总体而言,我对scikit学习和机器学习非常陌生。我有一个包含140,565行和17列的数据集。我使用的是在具有2.7GHz处理器,4GB RAM,Windows 10的计算机上运行随机森林模型的其他人的代码。

显然4GB RAM是不够的,我无法升级此系统(超极本)。它有一个固态硬盘。是否可以将scikit配置为使用硬盘驱动器而不是RAM(更多的空间以速度为代价)?

1 个答案:

答案 0 :(得分:0)

您仍然需要内存,需要从磁盘读取和写入数据,因为我知道这对于sklearn ML任务是不可能的(您需要尝试其他软件),可以尝试使用下面列出的策略来装入内存,但有一定限制您可以实现哪些算法:Scaling with instances using out-of-core learning

在这种情况下,性能和结果会受到影响,并且批次大小也会影响结果。

注意:对于磁盘读写操作更适合SAS和hadoop(map-reduce),但sklearn需要RAM。