标签： deep-learning hdf5
我正在处理一个图像分类问题，该数据集包含约1,000,000张图像，总大小约为〜36 GB。我正在尝试在具有256GB RAM（和4个16GB VRAM）的计算机上使用此数据训练CNN模型。
为解决直接将图像馈送到程序时遇到的内存问题，我尝试将原始图像数据转换为HDF5格式。但是，HDF5文件的大小一直在增长，并且转换器在磁盘空间不足时崩溃。磁盘上的HDF5文件容量为2.2TB！
这是预期大小吗？如何将其转换为较小的文件（最好是较小的文件）？