保存并加载大数组(> 100 gb)python,和/或缩小大小

时间:2017-05-01 14:59:21

标签: python file numpy save h5py

我需要保存一个非常大的数组(是double s的矩阵,大小为5e5 x 3e4。

背景是:我有一个粘性圆盘的模拟,每一行都是模拟的快照(表面密度)。

所有数据都是相关的(或多或少),所以原则上我不能减小矩阵的大小。 我尝试使用np.saveh5py。因此,光盘中5e4x1.5e3的矩阵大小为6 gb。 h5pynp.save比写IsLoading更快,但我不知道完全模拟是否会出现这种情况(应该是110 GB左右)。 有没有办法将数据存储在更少的空间?或者,是否有另一种方法来保存和加载比其他两种方法更快的数据?

谢谢!

0 个答案:

没有答案