如何在磁盘上保留大量的numpy矩阵

时间:2018-04-30 14:16:30

标签: python numpy

我想在我的磁盘上保存大量(数百万)小的numpy矩阵(shape =(224,224,1),dtype = np.float32)。

我希望能够有效地访问,并进行某种透明压缩。

对我有用的一个解决方案是hadoop文件(和h5py库)。只有一个缺点:我希望还有多线程访问权限。我想写几个线程的文件。我想自己关心写作中的冲突。

我应该使用任何建议的技术/数据库吗?

0 个答案:

没有答案