h5py是否将整个文件读入内存?
不,它没有。特别是,切片(dataset[50:100]
)允许您将数据集的分数加载到内存中。有关详细信息,请参阅h5py docs。
如果没有,如果我每次想要一个数据从硬盘中获取数据,它会非常慢吗?
一般来说,hdf5非常快。但是从内存中读取显然比从磁盘读取更快。您决定将多少数据集读入内存(dataset[:]
加载整个数据集)。
如何让它更快?
如果您想优化性能,则应阅读sections关于分块和压缩的内容。还有book详细解释了这些内容(免责声明:我不是作者)。