我需要保存一个非常大的数组(是double
s的矩阵,大小为5e5 x 3e4。
背景是:我有一个粘性圆盘的模拟,每一行都是模拟的快照(表面密度)。
所有数据都是相关的(或多或少),所以原则上我不能减小矩阵的大小。
我尝试使用np.save
和h5py
。因此,光盘中5e4x1.5e3
的矩阵大小为6 gb。 h5py
写np.save
比写IsLoading
更快,但我不知道完全模拟是否会出现这种情况(应该是110 GB左右)。
有没有办法将数据存储在更少的空间?或者,是否有另一种方法来保存和加载比其他两种方法更快的数据?
谢谢!