python中的Numba和hdf5文件

时间:2018-08-13 13:30:17

标签: python optimization h5py

我正在尝试从numba循环中的大型hdf5文件读取数据。这样,我不必在一开始就加载所有数组,这真的很慢并且需要很多内存。但是,numba似乎不支持python h5py库。关于如何做到这一点的任何想法?

这是一些示例代码:

import numpy as np
import numba as nb
import h5py

#create h5
hf = h5py.File('test.h5','w')
hf['test'] = [0,3,4,5,6]
hf.close()

#read it
f = h5py.File('test.h5','r')

#do something with numba
@nb.njit(fastmath=True, parallel=False)
def something(h5file):
    for k in nb.prange(0,h5file['test'].shape[0]):
        print("Hello world")
something(f)

0 个答案:

没有答案