标签： python computer-vision parallel-io
我正在尝试针对具有高性能并行IO的HPC架构优化深度学习计算机视觉管道。在这样的系统上，将大量文件存储在单个目录中是一种反模式。如果我可以收集图像并将它们写入单个大文件，则可以实现更好的IO性能。
哪种文件格式最适合此任务？是否存在Python库可将大量图像文件写入单个二进制文件格式？我碰到了GEIS个文件，这些文件看起来很合适，但找不到示例来说明用法。