Zarr多线程读取组

时间:2019-06-26 21:24:37

标签: python multithreading hdf zarr

不确定此问题是否有意义/是否与wart有关。我将分组存储在磁盘上,例如,我有

group = zarr.group()
d1 = group.create_dataset('baz', shape=100, chunks=10)
d2 = group.create_dataset('foo', shape=100, chunks=10)

现在组是可迭代的,因此我可以对其进行迭代并从所有组读取数据:

all_data = [group[g][:] for g in group]

是否有一种方法可以使用多线程从组中读取所有数据以加快速度?我知道在数组中可以使用多线程读取和写入数据。

假设按组读取数据对我来说太慢,我是否应该将所有组放入一个数据数组容器中?我想我想知道除组织容器外,组的功能是什么。因为假设每个组包含相似的数据,从理论上讲,您只需向numpy数组(用于组)添加另一个轴并将所有组存储在一个大数组中即可。

0 个答案:

没有答案