将Cifar10数据集转换为Amazon SageMaker的RecordIO格式

Question

我已经下载了cifar-10数据集，需要将其转换为RecordIO格式。如果您解压缩下载的cifar-10-python.tar.gz数据集，则会在下面

cifar-10-batches-py/
cifar-10-batches-py/data_batch_4
cifar-10-batches-py/readme.html
cifar-10-batches-py/test_batch
cifar-10-batches-py/data_batch_3
cifar-10-batches-py/batches.meta
cifar-10-batches-py/data_batch_2
cifar-10-batches-py/data_batch_5
cifar-10-batches-py/data_batch_1

现在，我想分离出data_batch_*.bin来训练集和test_batch.bin来测试集并转换为recordIO格式。

遵循本教程link，但不确定im2rec实际如何实现。

请提出建议。

Answer 1

这是您使用im2rec的方式：https://mxnet.incubator.apache.org/versions/master/faq/recordio.html

或者您可以直接以RecordIO格式下载CIFAR-10：

wget http://data.mxnet.io/data/cifar10/cifar10_val.rec
wget http://data.mxnet.io/data/cifar10/cifar10_train.rec