读取火炬模型延迟时间较短的大数据集的最佳方法是什么？

Question

我很熟悉使用一些特定于数据的图层或工具，这些图层或工具的习惯来自我使用的库，如mxnet（recordIO），caffe（LMDB）。他们还处理数据增加技巧。我决定为火炬射击，看看有什么好或坏。从最初的凝视，火炬没有这样的数据加载标准或我错过了它。您能否为我的模型培训指出一些加载大规模数据集的好方法？

Answer 1

一些指示：

• twitter/torch-dataset
• fb.resnet.torch/dataloader
• Element-Research/dataload

还可以在torch7/wiki中找到更多资源。