标签： python tensorflow
我正在使用小批量梯度下降训练神经网络进行回归。
由于每个训练示例在磁盘上消耗约3.4MB（由numpy保存到.npy文件），并且我只能访问具有128GB内存的计算节点，我只能将20%个训练示例中的1e5一次加载到内存中（平均90 seconds中）。
3.4MB
numpy
.npy
128GB
20%
1e5
90 seconds
我可以像在标准小批量梯度下降中那样反复遍历加载的训练示例多次吗？然后，当它超过最大迭代次数时，我只是将另一批训练示例加载到内存中以进行另一次训练迭代？