如何组合多个h5文件？

Question

受设备的限制，我只能为巨大的数据集（> 100GB）生成几个h5文件（每个文件的格式与[idx，1,224,224]的形状相同）现在我很困惑关于将这些文件组合成一个文件的解决方案，以便进一步培训PyTorch。 enter image description here

Answer 1

在h5py中，组和文件支持copy（），可用于在文件之间移动组（包括根组）及其内容。

请参阅此处的文档（向下滚动一下以查找copy（））：

http://docs.h5py.org/en/latest/high/group.html

HDF5发行版还包括一个名为h5copy的命令行工具，可用于移动内容，C API具有H5Ocopy（）函数。