标签: python python-2.7 mxnet
Reset和VGG等convnet受益于ImageRecordIter python类,该类允许从RecordIO .rec文件中存储的大量RGB图像中高效地加载批处理,
有人知道用于任意大输入2D或3D矩阵的等效功能(对于2D,行=项目,列=特征,+ 3D通道)?
NDArrayIter需要将整个数据集加载到内存中,在我的情况下(> 40Gb数据文件)应避免这样做。 CSVIter不允许直接进行改组,仅适用于2D矩阵。
答案 0 :(得分:0)
您可以将每个数据样本保存为单独的文件,并按照参考代码ImageFolderDataset实施一个非常简单的自定义NgDoCheck(){function}类
NgDoCheck(){function}