使用map_blocks根据每个块的内容计算堆

Question

我已经在笔记本电脑上创建了一个Dask集群，并使用xarray.open_dataset（'some_data.nc'，chunks = {'lat'：'auto'，'lon'：'auto '，'time'：-1}）

我已经将其转换为时间序列的分布式数组ts，每对（纬度，经度）对。对于此数组，ts.chunks为： （（（1555200、1555200、1555200、1555200、1555200、1555200），（12））

现在我想做的是每个块创建一个heapq，每个块的每一行计算一个条目。我希望可以为此使用map_blocks，但是我不知道如何使用。另外，我想基于这些堆进行一些减少。

有没有简单的方法可以做到这一点？谢谢。

Answer 1

一种简单的方法来实现此目的是延迟切换到Dask。参见https://docs.dask.org/en/latest/delayed-collections.html