我使用python2.7(我认为它是32位版本,不确定如何检查)和Windows 10.我已经实现了神经网络来对某些图像进行分类。我有一个25000的数据集,但如果我尝试将所有这些一次加载到我的训练集中(使用PIL),我会从python中收到内存错误。我知道我的计算机有足够的RAM来执行此任务,因为在任务管理器中,我可以看到窗口只为python分配最大1GB,即使我有8gb空闲(总共16gb)。
如何告诉Windows允许Python更多内存?
作为辅助问题,我有记忆错误的一个原因是我使用小批量梯度下降来训练我的算法。在这样做的过程中,我创建了训练数据的混乱版本,这样我就可以从中取出而不需要替换(而不是仅仅从一开始就改变我的训练数据,然后随机挑选出更换的迷你批次)。我听说没有替换的绘图是正确的方法,但是我创建数据的混乱版本的要求意味着我必须使用两倍的内存量来保持两组。
我用来创建迷你批次的代码是:(X是输入数据,Y是标签)
Console.Write($"Status of task ... {status}\r");
是否有更有效的方法可以在不增加内存使用量的情况下实现这一目标?