MXNet是否以流媒体方式从S3读取训练数据？

Question

This页面讨论了直接从S3存储桶读取训练数据的问题。有人知道数据是以流式方式读取还是整个训练数据在训练开始前被复制到本地缓存？

Answer 1

实际上是以流式方式读取数据。如果要在本地缓存整个文件，则需要在培训开始前手动或使用脚本执行此操作。

请注意，如果未提供.lst文件，某些迭代器可能会在训练开始之前读取整个.rec文件（以获取一些元数据）。在创建迭代器时同时提供.rec和.lst文件是个好主意。

示例：

itr = mxnet.image.ImageDetIter(batch_size=32, data_shape=(3,300,300),
                               path_imgrec=“s3://my_bucket_name/training_data/train.rec”,
                               path_imglist=“s3://my_bucket_name/training_data/train.lst”)