Torch 7如何加载不适合内存的非常大的数据集？

Question

我有一些非常大的数据集，我想加载到Torch中。但在运行学习算法之前，我无法将它们完全加载到内存中。

我应该怎样做才能最大限度地提升表现？

Answer 1

查看imagenet-multiGPU.torch全栈示例代码。它包含一个数据加载器（dataset.lua），能够一次采样一批图像，防止在内存中预加载所有内容：

local inputs, labels = trainLoader:sample(opt.batchSize)

（有关详细信息，请参阅train.lua）