我已经在笔记本电脑上创建了一个Dask集群,并使用xarray.open_dataset('some_data.nc',chunks = {'lat':'auto','lon':'auto ','time':-1})
我已经将其转换为时间序列的分布式数组ts,每对(纬度,经度)对。对于此数组,ts.chunks为: (((1555200、1555200、1555200、1555200、1555200、1555200),(12))
现在我想做的是每个块创建一个heapq,每个块的每一行计算一个条目。我希望可以为此使用map_blocks,但是我不知道如何使用。另外,我想基于这些堆进行一些减少。
有没有简单的方法可以做到这一点?谢谢。
答案 0 :(得分:0)
一种简单的方法来实现此目的是延迟切换到Dask。参见https://docs.dask.org/en/latest/delayed-collections.html