有效访问mxnet中的任意NDArray批次

时间:2018-10-17 09:44:29

标签: python python-2.7 mxnet

Reset和VGG等convnet受益于ImageRecordIter python类,该类允许从RecordIO .rec文件中存储的大量RGB图像中高效地加载批处理,

有人知道用于任意大输入2D或3D矩阵的等效功能(对于2D,行=项目,列=特征,+ 3D通道)?

NDArrayIter需要将整个数据集加载到内存中,在我的情况下(> 40Gb数据文件)应避免这样做。 CSVIter不允许直接进行改组,仅适用于2D矩阵。

1 个答案:

答案 0 :(得分:0)

您可以将每个数据样本保存为单独的文件,并按照参考代码ImageFolderDataset实施一个非常简单的自定义NgDoCheck(){function}