标签: python numpy
我想在我的磁盘上保存大量(数百万)小的numpy矩阵(shape =(224,224,1),dtype = np.float32)。
我希望能够有效地访问,并进行某种透明压缩。
对我有用的一个解决方案是hadoop文件(和h5py库)。只有一个缺点:我希望还有多线程访问权限。我想写几个线程的文件。我想自己关心写作中的冲突。
我应该使用任何建议的技术/数据库吗?