我有大约10类的100,000张图像。每次读取这些图像都是很费时间的。我想将这些图像存储为CIFAR10或任何其他数据集,这样我就可以快速读取它们并将它们轻松地放入模型中。
答案 0 :(得分:2)
您可以将图像转换为二进制格式,这种格式可以通过tensorflow理解为“ tfrecord”格式。
请参考以下链接
https://www.tensorflow.org/guide/datasets http://www.machinelearninguru.com/deep_learning/tensorflow/basics/tfrecord/tfrecord.html
答案 1 :(得分:1)
有多种方法。
您可以将图像存储在以类名作为名称的十个文件夹中,还可以存储十个包含每个类的图像的numpy数组(numpy.save()
和numpy.load()
)。您可以存储一个包含所有图像的numpy数组。您可以使用@Rajeswari
最快的选项是tfrecords tfrecord文件,它也可以保存并读取为多个分片,如果您没有足够的内存来一次将所有数据保存在内存中,这将很有帮助,最糟糕的选择是将它们保留为图像文件。保存numpy数组比创建tfrecords更容易,但仍然很快速。