如何将高效数据写入hdf5存储?

时间:2015-06-08 09:38:43

标签: python numpy hdf5 h5py

我尝试保存一个尺寸为20000 x 30000的二维数组,但是当我运行脚本时,我的计算机无法处理此过程并死机。 我有一个8 GB Ram Windows7机器与Python 2.7 64位(Anaconda安装)。 我可以在这里做一些优化吗?

import numpy as np
import h5py

ROWS = 20000
COLUMNS = 30000
VALUES = [1, 5, 10]
db_file = 'db.h5'

f = h5py.File(db_file, 'w')

val = np.full((ROWS, COLUMNS), 0)

for t in ["t1", "t5", "t10"]:
    group = f.create_group(t)
    group.create_dataset("mydata", data=val)
del val
f.close()

0 个答案:

没有答案