使用map_blocks根据每个块的内容计算堆

时间:2019-01-10 23:47:22

标签: dask

我已经在笔记本电脑上创建了一个Dask集群,并使用xarray.open_dataset('some_data.nc',chunks = {'lat':'auto','lon':'auto ','time':-1})

我已经将其转换为时间序列的分布式数组ts,每对(纬度,经度)对。对于此数组,ts.chunks为: (((1555200、1555200、1555200、1555200、1555200、1555200),(12))

现在我想做的是每个块创建一个heapq,每个块的每一行计算一个条目。我希望可以为此使用map_blocks,但是我不知道如何使用。另外,我想基于这些堆进行一些减少。

有没有简单的方法可以做到这一点?谢谢。

1 个答案:

答案 0 :(得分:0)

一种简单的方法来实现此目的是延迟切换到Dask。参见https://docs.dask.org/en/latest/delayed-collections.html